Personalized Object Identification and Localization via In-Context Inference with Vision-Language Models

Technische Samenvatting: Gepersonaliseerde Objectidentificatie en Lokalisatie via In-Context Inferentie met Vision-Language Modellen

1. Probleemdefinitie

Het artikel behandelt de beperkingen van Personalized Object Localization (POL), een taak die werd gepionierd door de methode IPLoc. Hoewel IPLoc erin slaagt om Vision-Language Modellen (VLM's) te gebruiken om een specifiek object-instance te lokaliseren in een query-afbeelding op basis van referentiebeelden en bounding-box annotaties, werkt het onder een kritische aanname: de query-afbeelding bevat altijd het doelobject.

In realistische scenario's (bijv. beeldretrieval, video grounding) bevatten query-afbeeldingen vaak niet het referentieobject. Onder deze omstandigheden faalt IPLoc om de afbeelding af te wijzen en genereert het in plaats daarvan een foutieve positieve bounding box. Deze beperking vormt een ernstige hindernis voor de praktische toepasbaarheid van POL.

Om dit aan te pakken, formuleren de auteurs een nieuwe taak: Personalized Object Identification and Localization (POIL). POIL breidt het POL-framework uit door van het model te eisen dat het:

1. Het specifieke, op de referentie gebaseerde object-instance lokaliseert indien het aanwezig is in de query-afbeelding.
2. De query-afbeelding afwijst (geen bounding box uitvoert) indien het referentie-object-instance afwezig is.

Deze taak verschilt van standaard Few-Shot Object Detection (FSOD), dat op categorieniveau opereert (het detecteren van elk object van een klasse), door te vereisen dat er instance-niveau discriminatie plaatsvindt en het vermogen om onderscheid te maken tussen het doel-instance en in-class distractors (afleiders).

2. Methodologie: IPLoc-ID

De auteurs stellen IPLoc-ID voor, een in-context algoritme dat is ontworpen om de POIL-taak op te lossen met behulp van VLM's zonder fine-tuning op testdata. De methode maakt gebruik van de autoregressieve generatiecapaciteiten van VLM's om lokalisatie en identificatie sequentieel uit te voeren binnen één enkele tekstsequentie.

Kerncomponenten:

• Sequentiële Generatie: In tegen tegenstelling tot IPLoc, dat alleen een bounding box ($\langle B \rangle$) uitvoert, genereert IPLoc-ID een drieledige sequentie:
  1. Candidate Bounding Box ($\langle B \rangle$): Een op de referentie gebaseerde kandidaat-box in de query-afbeelding.
  2. Self-Posed Query ($\langle Q \rangle$): Een vaste intermediaire query die de kandidaat-box verbindt met de referentiedata (bijv. "Hebben al deze boxen hetzelfde object?").
  3. Identification Answer ($\langle A \rangle$): Een binaire respons ("Ja" of "Nee") die bepaalt of de kandidaat overeenkomt met het referentie-instance.
• Uniforme Trainingsdoelstelling: Het model wordt gefinetuned met een uniforme verliesfunctie die de waarschijnlijkheid van de gehele sequentie ($B, Q, A$) maximaliseert. Dit stelt het model in staat om gezamenlijk zowel kandidaat-lokalisatie als instance-niveau identificatie te leren.
• Afhandeling van Negatieve Voorbeelden: Tijdens de training wordt het model blootgesteld aan zowel positieve voorbeelden (waar het doelobject aanwezig is) als negatieve voorbeelden (waar het niet aanwezig is). Voor negatieve voorbeelden genereert het model nog steeds een kandidaat-box (die het meest plausibele object vertegenwoordigt), maar is het getraind om "Nee" te outputten in de identificatiestap, waardoor het effectief leert de afbeelding af te wijzen.
• Interpretatie: Een post-processing interpreter extraheert de coördinaten en de "Ja/Nee"-beslissing. Als het antwoord "Nee" is, is de output een afwijzing ($\emptyset$); anders wordt de bounding box geretourneerd.

Implementatiedetails:

• De methode maakt gebruik van LoRA (Low-Rank Adaptation) voor parameter-efficiënte fine-tuning van VLM-backbones (bijv. Qwen2-VL, Qwen3-VL).
• Datasets zijn geconstrueerd uit publieke video-tracking bronnen (LaSOT, PDM, GOT-10K, VastTrack) door referentie-frames te samplen en paren van positieve/negatieve query-afbeeldingen te creëren.

3. Belangrijkste Bijdragen

1. Taakformulering: De introductie van POIL, een rigoureuze taakdefinitie die instance-niveau lokalisatie combineert met negatieve query-afwijzing, waarmee de kloof tussen POL en praktische toepassingsbehoeften wordt overbrugd.
2. Datasetconstructie: De creatie van customized POIL-datasets die zowel positieve als negatieve query-afbeeldingen bevatten, specifiek ontworpen om uitdagende in-class distractors te bevatten voor het evalueren van instance-niveau discriminatie.
3. Algoritme (IPLoc-ID): Een nieuw in-context inferentieframework dat een self-posed query mechanisme integreert. Dit ontwerp verbindt de lokalisatiestap met de identificatiestap, waardoor het model zijn eigen voorspellingen kan verifiëren binnen één enkel autoregressief generatieproces.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat IPLoc-ID foutieve positieven op negatieve afbeeldingen aanzienlijk onderdrukt terwijl de lokalisatienauwkeurigheid van de originele IPLoc behouden blijft.

4. Experimentele Resultaten

De auteurs hebben IPLoc-ID geëvalueerd tegen state-of-the-art baselines, inclusief conventionele Object Detection (OD), Few-Shot Object Detection (FSOD) en de originele IPLoc, over vier datasets (LaSOT, PDM, GOT-10K, VastTrack) en diverse N-shot instellingen.

• Lokalisatieprestaties (mIoU): IPLoc-ID behoudt lokalisatieprestaties die vergelijkbaar zijn met of iets beter zijn dan IPLoc over alle datasets en backbones.
• Identificatieprestaties (F1-score):
  • Alleen lokalisatie-georiënteerde methoden (IPLoc, OD, FSOD) behalen consistent een F1-score nabij de 0,667 (de theoretische baseline voor het altijd voorspellen van "positief" op een gebalanceerde dataset), wat duidt op een falen om negatieve afbeeldingen af te wijzen.
  • IPLoc-ID behaalt aanzienlijk hogere F1-scores (vaak boven de 0,90 en bereikend tot 0,99 op specifieke splits), wat een effectieve afwijzing van negatieve query-afbeeldingen aantoont.
• Ablatie-studies:
  • Unified vs. Two-Stage: Een uniforme trainingsdoelstelling presteert beter dan een twee-fasen aanpak (eerst lokalisatie trainen, dan identificatie), die lijdt onder catastrofale vergetelheid van lokalisatievaardigheden.
  • Self-Posed Query: De specifieke bewoording van de self-posed query heeft minimale impact op de prestaties, wat suggereert dat het model de structurele rol van de query leert tijdens de training.
  • Backbone Schaalbaarheid: De prestaties verbeteren met grotere modelgroottes (bijv. Qwen3-VL-235B), wat de schaalbaarheid van de aanpak bevestigt.

5. Betekenis en Claims

Het artikel claimt dat IPLoc-ID effectief de praktische instance-niveau POIL-taak aanpakt, een probleem dat niet voldoende kan worden opgelost door:

• Conventionele OD/FSOD: Die op categorieniveau opereren en niet in staat zijn om specifieke instances te onderscheiden.
• Lokalisatie-alleen IPLoc: Die geen mechanisme heeft om afbeeldingen af te wijzen waar het doelobject afwezig is, wat leidt tot hoge fout-positieve ratio's in realistische scenario's.

Door de self-posed query en identificatiecomponent te introduceren, laten de auteurs zien dat VLM's kunnen worden gestuurd om instance-niveau verificatie uit te voeren naast lokalisatie. De auteurs positioneren dit werk als een fundamentele stap voor toekomstige gepersonaliseerde visuele taken, inclus_ief retrieval, grounding en tracking, onder realistische query-instellingen waarbij het doelobject mogelijk niet aanwezig is.

Erkende Beperkingen:

• Het huidige framework richt zich op single-object lokalisatie per query-afbeelding en gaat niet om het gelijktijdig lokaliseren van meerdere doelobjecten.
• Inferentie wordt uitgevoerd op individuele afbeeldingen; temporele consistentie in videosequenties wordt niet expliciet benut, hoewel de auteurs dit als een richting voor toekomstig werk vermelden.