🤖 AI

FOCUS: Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

Dieses Paper führt FOCUS ein, ein zweistufiges Trainingsframework, das visuelle Support-Constraints und Group Relative Policy Optimization (GRPO) kombiniert, um eine robuste, kategorieunabhängige In-Context-Objektlokalisierung ohne explizite Überwachung zu erreichen, wodurch ein 7B-Parameter-Modell signifikant größere 72B-Modelle übertrifft.

Ursprüngliche Autoren: Mohammed Asad Karim, Vinay Kumar Verma

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammed Asad Karim, Vinay Kumar Verma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen Freund, der unglaublich schlau darin ist, Bücher zu lesen, aber schrecklich darin, Dinge in einem unordentlichen Zimmer zu finden. Wenn Sie ihn fragen: „Finde den roten Becher“, sucht er vielleicht nach irgendeinem roten Becher, weil er weiß, was ein „Becher“ ist. Aber was wäre, wenn Sie sagen würden: „Finde genau diesen speziellen roten Becher mit der Macke am Rand, genau wie der auf diesem Foto“? Ein normal kluger Freund könnte immer noch verwirrt sein und einen anderen roten Becher greifen, weil er sich auf sein allgemeines Wissen über „Becher“ verlässt, statt auf die spezifischen visuellen Hinweise, die Sie gegeben haben.

Dieses Paper stellt eine neue Methode vor, um Computer-Vision-Modelle (KI, die Bilder sieht und versteht) genau dazu zu bringen: ein spezifisches Objekt rein auf Basis visueller Beispiele zu finden, ohne sich auf dessen Namen oder Kategorie zu verlassen.

Hier ist die Aufschlüsselung ihres Ansatzes, FOCUS, unter Verwendung einfacher Analogien:

Das Problem: Die „Namensschild“-Krücke

Aktuelle KI-Modelle sind wie Schüler, denen beigebracht wurde, Matheaufgaben zu lösen, indem sie die Namen der Zahlen auswendig lernen, anstatt die Logik dahinter zu verstehen.

Das Problem: Wenn diese Modelle versuchen, ein Objekt in einem neuen Foto zu finden, ignorieren sie oft die spezifischen visuellen Details (wie Form, Position oder einzigartige Kratzer) und raten stattdertdessen basierend auf dem Namen des Objekts (z. B. „Es ist ein Hund, also muss er wie ein typischer Hund aussehen“).
Das Ergebnis: Wenn man ihnen ein Foto eines Hundes mit einem Hut zeigt und sie fragt, „diesen speziellen Hund“ in einer Menge anderer Hunde zu finden, wählen sie vielleicht den falschen aus, weil sie über „Hunde“ im Allgemeinen nachdenken, nicht über diesen Hund.

Die Lösung: FOCUS (Forcing In-Context Object Localization)

Die Autoren haben eine zweistufige Trainingsmethode entwickelt, um die KI dazu zu zwingen, aufhör zu raten, was das Objekt heißt, und stattdessen basierend auf visuellen Beweisen zu suchen.

Schritt 1: Das „Spotlight“-Training (Attention Optimization)

Stellen Sie sich vor, Sie bringen einem Kind bei, ein verstecktes Spielzeug zu finden. Anstatt zu sagen „Finde den Teddybären“, zeigen Sie auf ein Bild des Spielzeugs und sagen: „Schau genau hierhin“.

Was sie getan haben: Sie haben alle Textbeschriftungen (wie „Katze“, „Auto“, „Hund“) aus dem Trainingsprozess entfernt. Die KI sieht nur eine Serie von Bildern: einige mit einem Kasten um das Zielobjekt gezeichnet, und ein letztes Bild, in dem sie dasselbe Objekt finden muss.
Der Trick: Sie haben eine spezielle Regel (eine „Loss Function“) hinzugefügt, die wie ein Spotlight wirkt. Wenn die internen „Augen“ (Attention) der KI auf den falschen Teil des Bildes schauen oder den Kasten im Beispielfoto ignorieren, erhält das System ein „Daumen runter“. Dies zwingt die KI zu lernen: „Ich muss die spezifische Form und Position beachten, die im Beispiel gezeigt wird, und nicht einfach nur raten, was ich für das Objekt halte.“

Schritt 2: Die „Trainerpfiffe“ (Reinforcement Learning mit GRPO)

Sob�lar die KI weiß, wohin sie schauen muss, muss sie noch präzise werden. Stellen Sie sich einen Trainer vor, der einen Athleten beim Ballwerfen beobachtet.

Was sie getan haben: Sie verwendeten eine Technik namens Group Relative Policy Optimization (GRPO). Betrachten Sie dies als einen Trainer, der nicht nur „Gut gemacht“ oder „Schlecht gemacht“ sagt. Stattdessen bittet der Trainer den Athleten, den Wurf fünf verschiedene Male zu versuchen.
Der Vergleich: Der Trainer vergleicht die fünf Würfe. Wenn ein Wurf etwas besser ist als die anderen, sagt der Trainer: „Mach öfter das“. Wenn einer schlechter ist, sagt er: „Hör auf mit dem“.
Die Belohnung: Die KI erhält einen „Score“ basierend darauf, wie gut ihr gezeichneter Kasten mit dem echten Objekt übereinstimmt (unter Verwendung einer Metrik namens IoU, was so viel ist wie die Messung, wie stark sich zwei Formen überschneiden). Durch den ständigen Vergleich ihrer eigenen Versuche und dem Auswählen der besten davon lernt die KI, den Kasten mit extremer Präzision zu zeichnen.

Die Ergebnisse: Kleines Gehirn, große Siege

Der überraschendste Teil des Papers ist die Größe des Modells, das sie verwendet haben.

Sie trainierten ein Modell mit 7 Milliarden Parametern (denken Sie an ein sehr kluges, aber kompaktes Gehirn).
Sie verglichen es mit massiven Modellen mit 72 Milliarden Parametern (riesige Gehirne).
Das Ergebnis: Ihr kleines, speziell trainiertes Modell schlug die riesigen Modelle. Es bewies, dass es wichtiger ist, der KI beizubringen, wie man schaut (die Strategie), als die KI einfach nur größer zu machen (Scaling).

Warum das wichtig ist (laut dem Paper)

Das Paper behauptet, dass diese Methode entscheidend für Situationen ist, in denen:

Objekte keine Namen haben: Wie das Finden eines spezifischen, seltsam geformten Steins oder eines maßgeschneiderten Werkzeugs, das nicht in Standardkategorien passt.
Man „genau dieses eine“ spezifische Teil finden muss: Wie beim Bearbeiten eines Fotos, um nur die spezifische Person zu entfernen, auf die man gezeigt hat, und nicht alle, die so ähnlich aussehen.
Personalisierte Suche: Das Finden „meines spezifischen blauen Bechers“ in einer Menge anderer blauer Becher.

Kurz gesagt lehrt das Paper die KI, aufzuhören, sich auf ihr „Wörterbuch“ zu verlassen, und stattdessen auf ihre „Augen“ zu vertrauen, wodurch sie in der Lage ist, spezifische Dinge in einer Menge allein durch ein Referenzfoto zu finden, selbst wenn sie dieses exakte Objekt noch nie zuvor gesehen hat.

Technisches Resümee: FOCUS – Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

1. Problemdefinition und Motivation

In-Context Object Localization (ICOL) ist die Aufgabe, ein spezifisches Zielobjekt in einem Abfragebild auf der Grundlage einer kleinen Menge visueller Support-Beispiele (Bilder mit Bounding Boxes) zu identifizieren und zu lokalisieren, die während der Inferenz bereitgestellt werden, ohne dass dabei Parameter-Updates oder ein Training auf dem spezifischen Zielobjekt erfolgen.

Obwohl Vision-Language Models (VLMs) signifikante Fortschritte gemacht haben, stoßen sie bei der ICOL in realistischen, kategorie-agnostischen Szenarien an ihre Grenzen. Bestehende Methoden, wie etwa IPLoc, verlassen sich oft auf semantische Priors (z. B. Kategorienamen oder Pseudo-Labels) anstatt auf rein visueller Evidenz. Dies führt zu zwei kritischen Fehlermodi:

Kategorie-Bias: Modelle neigen dazu, das prototypischste oder visuell auffälligste Instanz einer Kategorie zu lokalisieren, anstatt die spezifische Instanz, die im Support-Beispiel definiert ist (z. B. irgendeine „Schüssel“ zu lokalisieren anstatt der spezifischen „Schüssel“, die im Support gezeigt wird).
Schwache visuelle Erdung (Weak Visual Grounding): Die Aufmerksamkeitsmechanismen aktueller Modelle verteilen den Fokus oft diffus über das Abfragebild oder verlassen sich stark auf Kategorie-Token, wodurch sie es versäumen, sich auf die geometrischen und räumlichen Hinweise zu konzentrieren, die durch die Support-Bounding-Boxes gegeben sind.

Das Paper argumentiert, dass Modelle für Anwendungen wie die personalisierte visuelle Suche oder die instanzspezifische Bildbearbeitung die Zielinstanz basierend auf visueller Korrespondenz und räumlicher Logik allein ableiten müssen, vollständig entkoppelt von textuellen Kategoriebezeichnungen.

2. Methodik: Das FOCUS-Framework

Die Autoren schlagen FOCUS vor, ein zweistufiges Trainings-Framework, das darauf ausgelegt ist, die visuelle Erdung zu erzwingen und den Kategorie-Bias zu eliminieren. Der Ansatz operiert auf einer kategorie-agnostischen Prämisse: Das Modell erhält nur visuelle Eingaben (Support-Bilder und deren Bounding Boxes) sowie das Abfragebild, ohne Kategorie-Namen im Prompt.

Stufe 1: Aufmerksamkeitsbasierte Bounding-Box-Optimierung (Supervised Fine-Tuning)

Die erste Stufe adressiert das Problem der „schwachen Aufmerksamkeit“, indem sie die latenten Attention-Maps des Modells explizit optimiert, um die räumlichen Annotationen zu priorisieren.

Prompt-Spezifikation: Der Input besteht aus einer verschachtelten Sequenz einer natürlichen Sprachanweisung, Support-Bildern mit ihren Bounding Boxes (serialisiert als Text-Token) und dem Abfragebild. Entscheidend ist, dass keine Kategorie-Namen enthalten sind.
Attention Loss ( $L_{bbox}$ ): Die Autoren führen eine Verlustfunktion ein, die die Attention-Gewichte des Abfragebild-Tokens dazu zwingt, sich auf die Bounding-Box-Annotation-Tokens der Support-Bilder zu konzentrieren.
- Eine binäre Maske unterscheidet zwischen BBOX-Tokens und Nicht-BBOX-Tokens.
- Der Loss minimiert einen Margin-basierten Hinge-Loss, der das Modell dazu ermutigt, eine höhere Attention-Masse auf BBOX-Tokens ( $p^+$ ) als auf Nicht-BBOX-Tokens ( $p^-$ ) zu vergeben.
- Dies stellt sicher, dass das Modell lernt, auf die durch die Support-Beispiele bereitgestellten geometrischen Constraints zu „schauen“, anstatt sich auf semantische Abkürzungen zu verlassen.
Implementierung: Diese Stufe nutzt Supervised Fine-Tuning (SFT) mit LoRA (Low-Rank Adaptation) auf einem Basis-VLM (z. B. Qwen2-VL-7B).

Stufe 2: Reinforcement Learning mit Group Relative Policy Optimization (GRPO)

Die zweite Stufe verfeinert die Präzision der vorhergesagten Bounding Boxes.

Zielsetzung: Minimierung des Lokalisierungsfehlers (IoU) und Sicherstellung der syntaktischen Korrektheit der Ausgabe.
Reward-Funktion: Es wird ein kombinierter Reward $R$ $R$ verwendet:
1. IoU Reward ( $r_{iou}$ ): Die Intersection-over-Union zwischen der vorhergesagten Box und der Ground Truth.
2. Formatting Reward ( $r_{fmt}$ ): Ein binärer Reward, der sicherstellt, dass die Ausgabe dem erforderlichen Format folgt (z. B. <answer>[x_min, y_min, x_max, y_max]</answer>).
Optimierung: GRPO wird zur Aktualisierung der Policy eingesetzt. Im Gegensatz zu PPO benötigt GRPO keinen gelernten Critic; stattdessen berechnet es Advantages durch den Vergleich von Stichproben innerhalb einer Gruppe relativ zum Mittelwert der Gruppen-Rewards. Dies stabilisiert das Training in Few-Shot-Settings und optimiert direkt auf eine qualitativ hochwertige Ausrichtung.

3. Kernbeiträge

Kategorie-agnostisches Framework: Das Paper führt ein rein visuelles In-Context-Lokalisierungs-Setting ein, das alle Kategorie-Namen aus den Prompts entfernt und das Modell zwingt, sich ausschließlich auf das visuelle Erscheinungsbild und die Geometrie zu verlassen.
Optimierung der Attention-Maps: Eine neuartige Verlustfunktion wird vorgeschlagen, die die Aufmerksamkeit des Modells explizit mit den Support-Bounding-Box-Tokens in Einklang bringt und so die Tendenz von VLMs korrigiert, räumliche Constraints zugunsten semantischer Priors zu ignorieren.
GRPO-basierte Verfeinerung: Die Integration von Group Relative Policy Optimization ermöglicht die direkte Minimierung des Lokalisierungsfehlers (IoU) und erzwingt eine strikte Ausgabeformatierung, was die Präzision auf Instanzebene verbessert.
Effizienz und Skalierbarkeit: Die Autoren zeigen, dass ein mit diesen Zielen trainiertes 7B-Parameter-Modell signifikant leistungsfähigere Modelle (bis zu 72B Parameter) übertrifft, was beweist, dass kontextsensitive Lokalisierungsziele wichtiger sind als bloße Modellskalierung.

4. Experimentelle Ergebnisse

Die Autoren evaluierten FOCUS auf einer Vielzahl von Benchmarks, darunter TAO, GOT-10k, LaSOT, PerSeg und PerMIRS.

Performance vs. Baselines: FOCUS (basierend auf Qwen2-VL-7B) erzielte State-of-the-Art-Ergebnisse und übertraf starke Baselines wie IPLoc (7B), Qwen2-VL-72B und InternVL2-76B deutlich.
- Auf GOT-10k (Zero-Shot-Kategorie-Generalisierung) erreichte FOCUS 82,6 % (4-Shot) und übertraf damit das 72B-Parameter-Modell Qwen2-VL (59,9 %) um eine große Marge.
- Auf TAO (Open-World, Multi-Object) erreichte FOCUS 68,5 % (4-Shot), verglichen mit 55,6 % für Qwen2-VL-72B.
Generalisierung: Das Modell zeigte eine robuste Generalisierung auf ungesehene Kategorien und Domain-Shifts (z. B. synthetische Daten in PerSeg) und behielt eine hohe Performance bei, wo kategorieabhängige Modelle Schwierigkeiten hatten, Instanzen zu disambiguieren.
Ablationsstudien:
- Das Entfernen des Attention-Loss führte zu einem signifikanten Leistungsabfall, was die Notwendigkeit bestätigt, die Aufmerksamkeit auf BBOX-Tokens zu erzwingen.
- Das Hinzufügen von GRPO auf Basis von SFT + Attention Loss lieferte einen zusätzlichen Gewinn von 11,4 % im 4-Shot-Szenario auf TAO.
- Es wurde festgestellt, dass die Anwendung des Attention-Loss auf die ersten fünf Schichten des Transformers am effektivsten für das Grounding ist, was darauf hindeutet, dass frühe Schichten entscheidend für die Etablierung der räumlichen Korrespondenz sind.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass FOCUS die In-Context-Lokalisierung erfolgreich als eine Aufgabe des visuellen Schließens (Visual Reasoning) statt als eine Aufgabe der semantischen Retrieval-Suche umformt. Durch die Eliminierung der Kategorie-Überwachung und das Erzwingen einer strikten visuellen Korrespondenz durch Attention-Constraints und Policy-Optimierung erreicht die Methode eine robuste Erdung auf Instanzebene.

Die Autoren betonen, dass ihr Ansatz zeigt, dass spezialisierte Trainingsziele eine überlegene Leistung gegenüber der bloßen Skalierung der Modellgröße ermöglichen können. Ein 7B-Modell mit FOCUS übertrifft 72B-Modelle, was verdeutlicht, dass „kontextsensitive Lokalisierungsziele“ ein effizienterer Weg zur Lösung des Problems der kategorie-agnostischen Objektlokalisierung sind als die bloße Abhängigkeit von massiven Parameterzahlen. Die Arbeit legt nahe, dass Modelle für nutzergesteuerte, instanzspezifische Anwendungen darauf trainiert werden müssen, semantische Priors zu ignorieren und sich strikt auf visuelle Evidenz zu konzentrieren.