🤖 AI

GRIT: Teaching MLLMs to Think with Images

Das Papier schlägt GRIT vor, eine auf Reinforcement Learning basierende Methode, die Multimodale Große Sprachmodelle befähigt, visuell fundierte Schlussfolgerungsketten zu generieren, indem sie natürliche Sprache mit expliziten Begrenzungsrahmenkoordinaten abwechseln, wodurch eine hohe Dateneffizienz erreicht wird, ohne dass annotierte Schlussfolgerungs- oder Lokalisierungsmarkierungen erforderlich sind.

Ursprüngliche Autoren: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten Roboter darin, ein Rätsel zu lösen. Normalerweise versucht dieser Roboter, wenn Sie ihn eine Frage zu einem Bild stellen, diese allein durch Sprechen zu beantworten. Er könnte sagen: „Ich sehe einen Vogel", zeigt aber nicht tatsächlich auf den Vogel. Es ist, als würde man versuchen, einen Ort in einem dunklen Raum nur mit Worten zu beschreiben und zu hoffen, dass Sie erraten, wohin Sie schauen.

Die Arbeit „GRIT: Teaching MLLMs to Think with Images" stellt eine neue Methode vor, um diese Roboter (Multimodale Große Sprachmodelle oder MLLMs) anders zu lehren, wie sie denken. Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Das Problem: Der „blinde" Denker

Aktuelle KI-Modelle sind hervorragend im Sprechen, aber wenn sie ein Bild betrachten, „denken" sie oft in reinem Text. Sie könnten die richtige Antwort erraten, können Ihnen aber nicht zeigen, wohin sie geschaut haben, um sie zu finden. Es ist, als würde ein Detektiv ein Verbrechen lösen, indem er den Namen des Täters errät, ohne jemals die Beweise zu zeigen oder auf den Fingerabdruck zu deuten. Dies macht ihre Schlussfolgerungen schwer vertrauenswürdig und manchmal ungenau.

2. Die Lösung: Die „Zeige"-Gewohnheit (GRIT)

Die Autoren entwickelten eine Methode namens GRIT (Grounded Reasoning with Images and Text). Anstatt nur zu sprechen, lernen sie der KI bei, während des Denkens zu zeigen.

Die Analogie: Stellen Sie sich vor, die KI ist ein Lehrer, der einem Schüler eine Karte erklärt. Anstatt nur zu sagen: „Der Schatz ist dort drüben", zeichnet der Lehrer eine Box um die Stelle auf der Karte und sagt: „Ich schaue hier [zeichnet Box], und ich sehe einen Felsen, also muss der Schatz neben ihm sein."
Wie es funktioniert: Die KI generiert eine Gedankenkette, die normale Sätze mit Begrenzungsrahmen (Koordinaten, die ein Rechteck um einen bestimmten Teil des Bildes zeichnen) mischt. Sie zeigt buchstäblich auf die Bildteile, die sie zur Lösung des Problems verwendet.

3. Der geheime Trick: Lernen durch Versuch und Irrtum (GRPO-GR)

Normalerweise benötigen Sie, um einer KI etwas so Komplexes beizubringen, Tausende von Beispielen, bei denen Menschen jeden einzelnen Schritt aufgeschrieben und jede einzelne Box gezeichnet haben. Das wäre, als würde man ein Team von Lehrern einstellen, um ein Lehrbuch für den Roboter zu schreiben.

Die Arbeit behauptet einen Durchbruch: GRIT benötigt fast keine Beispiele.

Die Analogie: Anstatt ein Lehrbuch zu lesen, lernt die KI wie ein Kind, das ein Videospiel spielt. Sie geben ihr ein Bild und eine Frage. Sie versucht, die Antwort zu geben. Wenn sie die endgültige Antwort richtig hat und die Regeln einhält (wie das Zeichnen einer Box), erhält sie eine „hohe Punktzahl" (Belohnung). Wenn sie scheitert, erhält sie eine niedrige Punktzahl.
Die Magie: Die Forscher verwendeten nur 20 Beispiele (wie 20 Übungsfragen), um die KI zu trainieren. Die KI erkannte das Muster: „Um eine hohe Punktzahl zu erhalten, muss ich beim Sprechen auf das Bild zeigen." Sie nennen dies GRPO-GR, eine spezielle Trainingsmethode, die die KI dafür belohnt, die richtige Antwort zu geben und das korrekte „Zeige"-Format zu verwenden.

4. Die Ergebnisse: Intelligenter und ehrlicher

Als sie diese trainierten Roboter testeten:

Sie wurden besser in Mathematik und Zählen: Wenn Sie fragten: „Wie viele Eier sind im Nest?", riet der Roboter nicht einfach eine Zahl. Er zeigte auf die Eier, zählte sie in seinen „Gedanken" einzeln und gab dann die Antwort.
Sie vereinten zwei Fähigkeiten: Früher war die KI gut im Sprechen (Schlussfolgern) ODER gut im Zeigen (Verankerung), aber nicht beides gleichzeitig. GRIT lehrte sie, beides gleichzeitig zu tun.
Sie sind zuverlässiger: Da die KI auf die Beweise zeigen muss, ist es schwieriger für sie, Lügen zu erfinden. Wenn sie auf eine Stelle zeigt und sagt „Ich sehe eine Katze", aber dort keine Katze ist, weiß das System, dass etwas nicht stimmt.

5. Was sie fanden (und was nicht)

Dateneffizienz: Sie bewiesen, dass Sie keine riesige Bibliothek an Daten benötigen. Nur 20 Beispiele reichten aus, um dem Roboter diese neue „Zeige"-Gewohnheit beizubringen.
Aufmerksamkeit: Wenn die KI auf eine Stelle zeigt (eine Box zeichnet), schenkt sie in ihrem nächsten Gedanken tatsächlich mehr Aufmerksamkeit auf diesen Teil des Bildes. Es ist, als würde der Akt des Zeigens dem Roboter helfen, seine Augen zu fokussieren.
Grenzen: Die Arbeit stellt fest, dass zwar mehr Daten helfen, es aber einen Punkt abnehmender Grenzerträge gibt. Um in Dingen, die der Roboter noch nicht gesehen hat, noch besser zu werden, benötigen sie mehr Vielfalt in den Daten, nicht nur mehr vom Gleichen.

Zusammenfassung:
GRIT ist eine neue Trainingsmethode, die KI-Robotern beibringt, „mit ihren Augen zu denken", indem sie sie zwingt, während des Sprechens auf das Bild zu zeigen. Es ist ein großer Sprung, da sie diese komplexe Fähigkeit mit fast keinen Daten lehrt (nur 20 Beispiele) und die Schlussfolgerungen der KI transparent und vertrauenswürdig macht.

, ...`) und die syntaktische Gültigkeit von Begrenzungsrahmen (erkannt mittels Regex). Diese Belohnung schränkt weder die semantische Genauigkeit des Textes noch der spezifischen Regionen ein, sondern lediglich das Format.
2. Grounded-Target-Counting-Belohnung ( $r_{count}$ ): Eine optionale Belohnung für Zählungsaufgaben, bei der die Anzahl der generierten Begrenzungsrahmen mit der Ground-Truth-Anzahl übereinstimmen muss.
3. GPT-gestützte Antwortgenauigkeits-Belohnung ( $r_{ans}$ ): Nutzt ein externes VLM (GPT-4o), um die Richtigkeit der endgültigen Antwort zu beurteilen, ergänzt durch einen BLEU-Score.

Hauptvorteil: Da sich die Belohnungen auf Format und Genauigkeit der endgültigen Antwort konzentrieren und nicht auf Zwischenschritte der Argumentation oder spezifische Positionen von Begrenzungsrahmen, eliminiert GRIT die Notwendigkeit von Trainingsdaten mit Annotationen für Argumentationsketten oder expliziten Begrenzungsrahmen-Labels.

Hauptbeiträge

GRIT-Framework: Eine neuartige Methode, die MLLMs ermöglicht, „mit Bildern zu denken", indem sie Argumentationsketten generieren, die natürliche Sprache mit expliziten Koordinaten von Begrenzungsrahmen abwechseln und so Grounding- und Argumentationsfähigkeiten vereinen.
GRPO-GR-Algorithmus: Ein Reinforcement-Learning-Algorithmus, der MLLMs effizient ausschließlich mit Bild-Frage-Antwort-Tupeln trainiert. Er nutzt neuartige Format- und Genauigkeitsbelohnungen und beseitigt die Abhängigkeit von teuren, dichten Annotationen für Zwischenschritte der Argumentation oder Grounding.
Dateneffizienz: Die Methode demonstriert außergewöhnliche Dateneffizienz und erreicht Grounding-Argumentationsfähigkeiten mit nur 20 Trainingsbeispielen, die aus bestehenden VQA-Datensätzen (VSR und TallyQA) stammen.
Vereinheitlichte Fähigkeiten: Experimente zeigen, dass GRIT-trainierte Modelle Grounding und Argumentation erfolgreich vereinen, was in Basis-MLLMs oft getrennt ist, und zu kohärenten und genauen Ausgaben führt.

Experimentelle Ergebnisse

Die Autoren bewerteten GRIT-trainierte Modelle (Qwen 2.5-VL und InternVL 3) gegen Baselines wie Direct Query, Chain-of-Thought (CoT), One-shot ICL und Few-shot SFT über sieben Testsets (VSR, TallyQA, GQA, MME, MathVista-mini, OVDEval).

Leistung: GRIT-trainierte Modelle übertrafen alle Baselines sowohl in der GPT-as-judge-Antwortgenauigkeit als auch im Grounding-IoU (Intersection over Union der generierten Boxen im Vergleich zur Ground Truth). Bemerkenswerterweise generalisierten sie effektiv auf Daten außerhalb des Trainingsbereichs, obwohl sie nur mit 20 Beispielen trainiert wurden.
Grounding-Qualität: Eine qualitative Analyse zeigte, dass GRIT-Modelle dynamisch bestimmen, wann Grounding notwendig ist, und dabei False Positives für nicht existierende Entitäten vermeiden.
Cross-Modal-Korrelation: Eine neue Metrik, „Vision-Language Reasoning Cross-Modal Correlation", zeigte, dass die von GRIT-Modellen ausgewählten Bildregionen semantisch hochgradig kohärent mit dem begleitenden Text sind und dabei die Baselines Zero-shot ICL und Few-shot SFT übertreffen.
Aufmerksamkeitsmechanismus: Die Analyse der Aufmerksamkeitswerte deutete darauf hin, dass das Vorhandensein von Begrenzungsrahmen in der Argumentationskette die Aufmerksamkeit des Modells auf relevante visuelle Tokens in nachfolgenden Argumentationsschritten signifikant erhöht.
Skalierung: Die Erhöhung der Trainingsdaten von 20 auf 7.000 Beispiele verbesserte die Leistung im Trainingsbereich, zeigte jedoch abnehmende Grenzerträge und Generalisierungsschwierigkeiten für Aufgaben außerhalb des Trainingsbereichs, was darauf hindeutet, dass die Vielfalt der Daten für die Generalisierung wichtiger ist als das Volumen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass GRIT einen bedeutenden Schritt nach vorn darstellt, um MLLMs visuell fundierte Argumentation zu ermöglichen. Indem Modelle erlaubt wird, explizite visuelle Referenzen innerhalb ihrer Denkprozesse zu generieren, erreicht GRIT eine „erfolgreiche Vereinheitlichung von Argumentations- und Grounding-Fähigkeiten".

Die Autoren betonen, dass dies der erste Open-Source-Ansatz ist, der abwechselnde visuell-textuelle Argumentation durch leichtgewichtiges RL erreicht, ohne explizite Annotationen für Zwischenschritte zu benötigen. Obwohl sich die Studie auf kleinere MLLMs konzentriert, um die Effizienz und nicht die Spitzenleistung zu validieren, deuten die Ergebnisse darauf hin, dass das Einbringen komplexer, fundierter Argumentation mit minimalen Daten machbar ist. Die Arbeit schließt, dass zukünftige Verbesserungen der Generalisierbarkeit wahrscheinlich mehr von der Vielfalt der Trainingsdaten und dem Modell-Pre-Training abhängen werden als von einer bloßen Erhöhung des Datenvolumens.