Technische Samenvatting: FOCUS – Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

1. Probleemdefinitie en Motivatie

In-Context Object Localization (ICOL) is de taak van het identificeren en lokaliseren van een specifiek doelobject in een query-afbeelding op basis van uitsluitend een kleine set visuele ondersteunende voorbeelden (afbeeldingen met bounding boxes) die tijdens de inferentie worden verstrekt, zonder dat er parameterupdates of training plaatsvinden op het specifieke doelobject.

Hoewel Vision-Language Models (VLMs) aanzienlijk zijn geavanceerd, hebben ze moeite met ICOL in realistische, categorie-agnostische omgevingen. Bestaande methoden, zoals IPLoc, vertrouwen vaak op semantische priors (bijv. categorienamen of pseudo-labels) in plaats van zuivere visuele bewijslast. Dit leidt tot twee kritieke faalmodi:

1. Categorie-bias: Modellen hebben de neiging om de meest prototypische of visueel opvallende instantie van een categorie te lokaliseren in plaats van de specifieke instantie die in het ondersteunende voorbeeld wordt gedefieerd (bijv. het lokaliseren van een willekeurige "kom" in plaats van de specifieke "kom" die in het voorbeeld wordt getoond).
2. Zwakke Visuele Gronding: Aandachtsmechanismen in huidige modellen verdelen de focus vaak diffuus over de query-afbeelding of vertrouwen zwaar op categorie-tokens, waarbij ze er niet in slagen zich te concentreren op de geometrische en ruimtelijke aanwijzingen die door de ondersteunende bounding boxes worden geleverd.

Het artikel betoogt dat voor toepassingen zoals gepersonaliseerde visuele zoekopdrachten en instantie-specifieke beeldbewerking, modellen het doel moeten afleiden op basis van visuele correspondentie en ruimtelijk redeneren alleen, volledig ontkoppeld van tekstuele categorie-labels.

2. Methodologie: Het FOCUS-framework

De auteurs stellen FOCUS voor, een tweestaps trainingsframework ontworpen om visuele gronding af te dwingen en categorie-bias te elimineren. De aanpak werkt op een categorie-agnostisch uitgangspunt: het model ontvangt uitsluitend visuele inputs (ondersteunende afbeeldingen en hun bounding boxes) en de query-afbeelding, zonder categorienamen in de prompt.

Fase 1: Attention-Based Bounding Box Optimization (Supervised Fine-Tuning)

De eerste fase adresseert het probleem van "zwakke aandacht" door de latente aandachtskaarten van het model expliciet te optimaliseren om prioriteit te geven aan ruimtelijke annotaties.

• Prompt Specificatie: De input is een geïnterleaved sequentie van een instructie in natuurlijke taal, ondersteunende afbeeldingen met hun bounding boxes (geserialiseerd als teksttokens), en de query-afbeelding. Cruciaal is dat er geen categorienamen worden opgenomen.
• Attention Loss ($L_{bbox}$): De auteurs introduceren een verliesfunctie die de aandachtsgewichten van de query-afbeelding-tokens dwingt om te concentreren op de bounding box annotatie-tokens van de ondersteunende afbeeldingen.
  • Een binaire maskering onderscheidt BBOX-tokens van niet-BBOX-tokens.
  • De loss minimaliseert een margin-based hinge loss, wat het model aanmoedigt om meer aandacht te besteden aan BBOX-tokens ($p^+$) dan aan niet-BBOX-tokens ($p^-$).
  • Dit zorgt ervoor dat het model leert om te "kijken" naar de geometrische beperkingen die door de ondersteunende voorbeelden worden geboden, in plaats van te vertrouwen op semantische shortcuts.
• Implementatie: Deze fase maakt gebruik van Supervised Fine-Tuning (SFT) met LoRA (Low-Rank Adaptation) op een basis VLM (bijv. Qwen2-VL-7B).

Fase 2: Reinforcement Learning met Group Relative Policy Optimization (GRPO)

De tweede fase verfijnt de precisie van de voorspelde bounding boxes.

• Doelstelling: Om de lokalisatiefout (IoU) te minimaliseren en de syntactische correctheid van de output te waarborgen.
• Reward Functie: Een gecombineerde reward $R$ wordt gebruikt:
  1. IoU Reward ($r_{iou}$): De Intersection-over-Union tussen de voorspelde box en de grondwaarheid (ground truth).
  2. Formatting Reward ($r_{fmt}$): Een binaire reward die garandeert dat de output voldoet aan het vereiste formaat (bijv. <answer>[x_min, y_min, x_max, y_max]</answer>).
• Optimalisatie: GRPO wordt ingezet om de policy bij te werken. In tegenstelling tot PPO heeft GRPO geen geleerde critic nodig; in plaats daarvan berekent het voordelen door gesamplede outputs binnen een groep te vergelijken met de gemiddelde reward van de groep. Dit stabiliseert de training in few-shot settings en optimaliseert direct voor hoogwaardige alignment.

3. Belangrijkste Bijdragen

1. Categorie-Agnostisch Framework: Het artikel introduceert een zuivere visuele in-context lokalisatie-setting die alle categorienamen uit de prompts verwijdert, waardoor het model gedwongen wordt uitsluitend te vertrouwen op visuele verschijning en geometrie.
2. Attention Map Optimization: Een nieuwe verliesfunctie wordt voorgesteld om de aandacht van het model expliciet af te stemmen op ondersteunende bounding box-tokens, wat de neiging van VLMs corrigeert om ruimtelijke beperkingen te negeren ten gunste van semantische priors.
3. GRPO-gebaseerde Verfijning: De integratie van Group Relative Policy Optimization maakt directe minimalisatie van de lokalisatiefout (IoU) mogelijk en dwingt een strikte output-formattering af, wat de precisie op instantieniveau verbetert.
4. Efficiëntie en Schaalbaarheid: De auteurs demonstreren dat een 7B-parameter model, getraind met deze doelstellingen, aanzienlijk beter presteert dan veel grotere modellen (tot 72B parameters), wat bewijst dat context-bewuste lokalisatie-doelstellingen belangrijker zijn dan louter model-scaling.

4. Experimentele Resultaten

De auteurs hebben FOCUS geëvalueerd op een diverse set benchmarks, waaronder TAO, GOT-10k, LaSOT, PerSeg en PerMIRS.

• Prestaties vs. Baselines: FOCUS (gebaseerd op Qwen2-VL-7B) behaalde state-of-the-art resultaten en presteerde aanzienlijk beter dan sterke baselines zoals IPLoc (7B), Qwen2-VL-72B en InternVL2-76B.
  • Op GOT-10k (zero-shot categorie-generalisatie) behaalde FOCUS 82,6% (4-shot), waarmee het de 72B parameter Qwen2-VL model (59,9%) met een grote marge overtrof.
  • Op TAO (open-world, multi-object) bereikte FOCUS 68,5% (4-shot), vergeleken met 55,6% voor Qwen2-VL-72B.
• Generalisatie: Het model vertoonde een robuuste generalisatie naar ongeziene categorieën en domeinverschuivingen (bijv. synthetische data in PerSeg), waarbij het een hoge prestatie behield waar categorie-afhankelijke modellen faalden in het onderscheiden van instanties.
• Ablatie Studies:
  • Het verwijderen van de attention loss resulteerde in een significante daling van de prestaties, wat de noodzaak bevestigt om aandacht naar BBOX-tokens te dwingen.
  • Het toevoegen van GRPO bovenop SFT + Attention Loss leverde een extra winst van 11,4% op in de 4-shot setting op TAO.
  • Het toepassen van de attention loss op de eerste vijf lagen van de transformer bleek het meest effectief voor gronding, wat suggereert dat vroege lagen cruciaal zijn voor het vaststellen van ruimtelijke correspondentie.

5. Betekenis en Claims

Het artikel claimt dat FOCUS erin slaagt in-context lokalisatie te herformuleren als een visuele redeneertaak in plaats van een semantische retrieval-taak. Door categorie-supervisie te elimineren en strikte visuele correspondentie af te dwingen via aandacht-beperkingen en policy-optimalisatie, bereikt de methode robuuste lokalisatie op instantieniveau.

De auteurs benadrukken dat hun aanpak aantoont dat gespecialiseerde trainingsdoelstellingen superieur kunnen zijn aan simpelweg de modelgrootte schalen. Een 7B model met FOCUS presteert beter dan 72B modellen, wat onderstreept dat "context-bewuste lokalisatie-doelstellingen" een efficiënter pad zijn naar het oplossen van het probleem van categorie-agnostische object-lokalisatie dan het enkel vertrouwen op enorme aantallen parameters. Het werk suggereert dat voor door gebruikers gestuurde, instantie-specifieke toepassingen, modellen getraind moeten worden om semantische priors te negeren en zich strikt op visueel bewijs te concentreren.