🤖 machine learning

IAPO: Input Attribution-Aware Policy Optimization for Tool Use in Small Multimodal Agents

Dieses Paper schlägt die Input Attribution-Aware Policy Optimization (IAPO) vor, einen Reinforcement-Learning-Algorithmus, der die Tool-Calling-Fähigkeiten von multimodalen kleinen Sprachmodellen verbessert, indem er deren Input-Attribution an einen stärkeren Lehrer anpasst, wodurch die Einschränkungen durch spärliche binäre Belohnungen überwunden und die Leistung bei visuellen Fragen-Antwort-Aufgaben gesteigert wird.

Ursprüngliche Autoren: Yifan Yang, Zhen Zhang, Jiayi Tian, Liyan Tan, Zheng Zhang

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yifan Yang, Zhen Zhang, Jiayi Tian, Liyan Tan, Zheng Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem kleinen Roboter das Werkzeugbenutzen beibringen

Stellen Sie sich vor, Sie haben einen kleinen, intelligenten Roboter (einen „Small Multimodal Agent“), der Aufgaben lösen muss, die Diagramme und Tabellen beinhalten. Um diese Aufgaben zu lösen, hat der Roboter einen Werkzeugkasten mit sechs speziellen Werkzeugen, wie zum Beispiel einem „Textmarker“, einer „Maske“ oder einer „Lupe“.

Die Aufgabe des Roboters besteht darin, sich ein Diagramm anzusehen, zu entscheiden, welches Werkzeug er verwenden soll, um die richtigen Daten hervorzuheben, und dann eine Frage zu beantworten.

Das Problem:
Als Forscher versuchten, diesen kleinen Roboter mit Standardmethoden (genannt GRPO) zu trainieren, hatte der Roboter Schwierigkeiten. Es war, als würde man einem Schüler beibringen, indem man ihm am Ende der Prüfung lediglich eine Note gibt.

Wenn der Schüler die endgültige Antwort richtig hatte, bekam er eine „Eins“, selbst wenn er wild geraten oder die falschen Werkzeuge benutzt hatte, um dorthin zu gelangen.
Wenn er die Antwort falsch hatte, bekam er eine „Sechs“, selbst wenn er die richtigen Werkzeuge benutzt hatte, aber einen winzigen Rechenfehler gemacht hatte.

Weil der Roboter nur auf die Endnote achtete, entwickelte er schlechte Angewohnheiten. Manchmal benutzte er den „Textmarker“ zufällig auf den falschen Zeilen eines Diagramms, hatte dadurch Glück und lieferte trotzdem die richtige Antwort. Er lernte nicht, war Warum er richtig lag, sodass er den Erfolg nicht zuverlässig wiederholen konnte.

Die Lösung: IAPO (Die „Auge des Lehrers“-Methode)

Die Autoren schlagen eine neue Methode namens IAPO (Input Attribution-Aware Policy Optimization) vor. Betrachten Sie dies als die Gabe eines super-intelligenten Lehrers, der jeden Schritt des Roboters genau beobachtet.

So funktioniert IAPO, unterteilt in drei einfache Schritte:

1. Der „Warum“-Check (Input Attribution)

Anstatt nur die endgültige Antwort zu prüfen, fragt IAPO: „Welcher Teil des Bildes oder des Textes hat den Roboter dazu gebracht, dieses spezifische Werkzeug zu benutzen?“

Die Analogie: Stellen Sie sich vor, der Roboter ist ein Detektiv, der ein Tatortfoto untersucht.
- Schlechter Detektiv: Zeigt auf einen zufälligen roten Schuh und sagt: „Der Mörder trug Rot!“ (Er hatte die richtige Antwort durch Glück, aber die Argumentation war falsch).
- Guter Detektiv: Zeigt auf die schlammigen Fußspuren, die zur Tür führen, und sagt: „Der Mörder kam durch die Tür.“ (Die Argumentation passt zu den Beweisen).

IAPO nutzt einen mathematischen Trick namens Integrated Gradients, um genau zu messen, wie sehr der Roboter auf verschiedene Teile des Prompts „geachtet“ hat. Hat er auf die Spalte „Jahr“ geachtet, als er es hätte tun sollen? Oder hat er sich durch die Spalte „Name“ ablenken lassen?

2. Der Schatten des Lehrers

Der kleine Roboter (der Schüler) wird mit einem großen, starken Lehrer (einem größeren KI-Modell, das bereits sehr gut in dieser Aufgabe ist) gepaart.

Der Lehrer sieht sich dasselbe Diagramm an und entscheidet, welches Werkzeug zu benutzen ist.
Der Lehrer zeigt auch genau auf, auf welche Teile des Bildes er geschaut hat, um diese Entscheidung zu treffen.
IAPO vergleicht die „Attention Map“ (Aufmerksamkeitskarte) des Schülers mit der „Attention Map“ des Lehrers.

3. Die neue Bewertungsskala

Der Roboter erhält eine neue Punktzahl. Es geht nicht mehr nur darum, die Antwort richtig zu haben.

Alte Punktzahl: Hast du die Antwort richtig? (Ja/Nein).
Neue IAPO-Punktzahl: Hast du die Antwort richtig UND hast du auf dieselben Hinweise geachtet, auf die auch der Lehrer geachtet hat?

Wenn der Roboter das richtige Werkzeug benutzt, aber auf den falschen Teil des Bildes schaut, erhält er einen Punktabzug. Er muss lernen, seinen „Denkprozess“ mit dem des Lehrers in Einklang zu bringen.

Warum das für kleine Roboter wichtig ist

Die Autoren fanden heraus, dass kleine Roboter (Small Language Models) besonders schlecht darin sind, nur aus der endgültigen Antwort zu lernen. Sie lassen sich leicht dazu verleiten, zu raten.

Durch die Verwendung von IAPO:

Lernen sie schneller: Sie hören auf zu raten und beginnen, der richtigen Evidenz Aufmerksamkeit zu schenken.
Machen sie weniger Fehler: Der Roboter hört auf, den „Textmarker“ auf die falschen Zeilen eines Diagramms zu setzen.
Generalisieren sie besser: Selbst wenn sie ein neues Diagramm-Typ sehen, den sie noch nie gesehen haben, wissen sie, wie sie nach den richtigen Hinweisen suchen müssen, weil sie den Prozess gelernt haben, nicht nur die Antwort.

Die Ergebnisse

Die Forscher testeten dies an einem kleinen Roboter (Qwen2.5-VL-3B).

Vor IAPO: Der Roboter war okay, aber er benutzte oft die falschen Werkzeuge oder ließ sich ablenken.
Nach IAPO: Die Genauigkeit des Roboters verbesserte sich um etwa 3 % über sechs verschiedene Testsets hinweg.

In der Welt der KI ist ein Sprung von 3 % eine große Sache. Es bedeutet, dass der Roboter wesentlich zuverlässiger darin wurde, seine Werkzeuge zu benutzen, um visuelle Rätsel zu lösen, einfach weil er beigebracht wurde, auf die richtigen Dinge zu schauen, anstatt nur darauf zu hoffen, die richtige Antwort zu erhalten.

Zusammenfassung

Betrachten Sie IAPO als einen Tutor, der nicht nur Ihren fertigen Aufsatz bewertet, sondern auch Ihre Gliederung und Ihre Forschungsnotizen beobachtet. Wenn Sie einen großartigen Aufsatz schreiben, aber Ihre Forschungsnotizen ungeordnet und irrelevant sind, sagt der Tutor Ihnen, dass Sie Ihren Forschungsprozess korrigieren müssen. Dies stellt sicher, dass Sie beim nächsten Aufsatz das Richtige tun – jedes Mal.

Technisches Resümee: IAPO: Eingabe-Attributionsbewusste Policy-Optimierung für die Werkzeugnutzung in kleinen multimodalen Agenten

Problemstellung

Die Arbeit befasst sich mit der Herausforderung, kleine Sprachmodell-Agenten (Small Language Model, SLM) darauf zu trainieren, Werkzeuge in multimodalen Szenarien effektiv zu nutzen, insbesondere für die visuelle Beantwortung von Fragen (Visual Question Answering, VQA) bei Diagrammen und Tabellen. Während Reinforcement Learning (RL)-Methoden wie Proximal Policy Optimization (PPO) und Group Relative Policy Optimization (GRPO) die Leistung von Agenten verbessert haben, stehen sie bei der Anwendung auf multimodale SLMs vor erheblichen Einschränkungen:

Unzureichendes Reward-Design für multimodale Aufgaben: Bestehende Methoden verlassen sich häufig auf exakte Übereinstimmungen mit Ground-Truth-Werkzeug-Trajektorien oder vordefinierten Formaten. Multimodale Aufgaben lassen jedoch häufig mehrere gültige Pfade der Werkzeugnutzung zu (z. B. können das Hervorheben, Maskieren oder Zeichnen von Begrenzungsrahmen alle gültige Methoden sein, um relevante Bereiche eines Diagramms zu fokussieren). Starre Formatprüfungen erfassen diese Flexibilität nicht.
Dünne und fragile Belohnungen (Sparse and Brittle Rewards): Aktuelle Ansätze verwenden typischerweise binäre, ergebnisbasierte Belohnungen (richtige/falsche Endantwort). Diese liefern ein dünnes Feedback und versäumen es, den Entscheidungsprozess des Modells in den Zwischenschritten zu steuern. Infolgedessen können SLMs lernen, zufällige Abkürzungen oder oberflächliche Korrelationen auszunutzen, um eine korrekte Endantwort zu erreichen, ohne tatsächlich eine robuste Werkzeugwahl-Policy zu erlernen, die auf relevanten visuellen Belegen basiert.
Suboptimale Leistung von Vanilla GRPO: Selbst mit Vanilla GRPO produzieren multimodale SLMs weiterhin eine beträchtliche Anzahl fehlerhafter Werkzeugaufrufe, was darauf hindeutet, dass Standard-RL-Algorithmen nicht ausreichen, um die nuancierte Entscheidungsfindung zu erlernen, die für die multimodale Werkzeugnutzung erforderlich ist.

Methodik: Input Attribution-Aware Policy Optimization (IAPO)

Um diese Probleme zu adressieren, schlagen die Autoren IAPO vor, einen RL-Algorithmus, der die Eingabe-Attribution des Studentenmodells mit der eines stärkeren Lehrermodells abgleicht. Der Kern der Idee ist, dass der Beitrag spezifischer Eingabekomponenten zu einem generierten Werkzeugaufruf stark mit der Korrektheit des Werkzeugaufrufs korreliert.

Schlüsselkomponenten:

Integrated Gradient (IG) Scores:
- Der Eingabe-Prompt wird in semantische Blöcke zerlegt: reiner Textkontext ( $P$ ), Benutzeranfrage ( $R$ ), Bildplatzhalter ( $I$ ) und Werkzeugdefinitionen ( $T$ ).
- Die Methode berechnet Integrated Gradient Scores, um zu quantifizieren, wie sehr jeder semantische Block zur Log-Wahrscheinlichkeit der generierten Werkzeugaufruf-Sequenz beiträgt.
- Speziell für eine Werkzeugaufruf-Sequenz $y'$ ist der Score $s(E)$ die Log-Wahrscheinlichkeit unter der aktuellen Policy. Der Gradient dieses Scores bezüglich der Eingabe-Embeddings wird berechnet, und die Token-Level-Attribution ist definiert als die Norm des elementweisen Produkts aus Gradient und Embedding ( $o_i = \|g_i \odot e_i\|_2$ ).
- Diese Token-Level-Attributionen werden zu Block-Level-Scores ( $O_k$ ) für jeden semantischen Typ aggregiert.
Attributionsbasierte Strafe (Attribution-Based Penalty):
- Ein stärkeres Lehrermodell (z. B. ein größeres SLM oder ein mit GRPO trainiertes Modell) generiert Referenz-IG-Scores ( $\hat{b}$ ) für dieselbe Eingabe.
- Die IG-Scores des Studentenmodells ( $\hat{a}$ ) werden mit denen des Lehrers mittels der Kullback-Leibler-Divergenz verglichen, um eine Attributionsstrafe zu bilden: $P_A = D_{KL}(\hat{b} \parallel \hat{a})$ .
- Diese Strafe ermutigt den Studenten, sich auf dieselben Eingabekomponenten zu konzentrieren (z. B. spezifische Werkzeugdefinitionen oder Teile der Anfrage), die der Lehrer als relevant erachtet.
Modifizierte Reward-Funktion:
- Die finale Belohnung für eine Trajektorie $i$ kombiniert die Standard-Ergebnisbelohnung ( $R_{out}$ ) mit der Attributionsstrafe:
  $R_{IAPO}^i = R_{out}^i - \lambda P_A^i$
- Hierbei steuert $\lambda$ die Stärke der Attributionsabstimmung. Dieses dichte Signal führt die Policy dazu, nicht nur die Aufgabengenauigkeit zu maximieren, sondern auch ihren internen Entscheidungsprozess mit den Attributionsmustern des Lehrers abzugleichen.
Trainingsrahmen:
- Die Methode verwendet einen Zwei-Turn-Rollout: Das Modell generiert Werkzeugaufrufe, um ein Bild zu bearbeiten, und begründet dann über das bearbeitete Bild, um eine finale Antwort zu produzieren.
- Das Training nutzt die GRPO-Zielfunktion, verwendet jedoch die modifizierte $R_{IAPO}$ , um gruppenrelative Vorteile (group-relative advantages) zu berechnen.

Wichtigste Beiträge

Neue Integrated Gradient Scores: Die Arbeit führt eine Methode ein, um den Beitrag verschiedener semantischer Eingabeblöcke (Text, Bild, Werkzeugdefinitionen) zur Generierung von Werkzeugaufrufen zu quantifizieren und so ein dichtes Supervision-Signal bereitzustellen.
IAPO-Algorithmus: Die Autoren schlagen die erste RL-Methode vor, die speziell für die Werkzeugnutzung von SLMs entwickelt wurde und Attributionsstrafen nutzt. Durch den Vergleich der IG-Scores von Student und Lehrer mittels KL-Divergenz überträgt IAPO die Werkzeugaufruf-Fähigkeit und die Entscheidungslogik des Lehrers auf den Studenten.
Empirische Validierung: Die Arbeit zeigt, dass Vanilla GRPO zu anhaltender Fehlbedienung von Werkzeugen in multimodalen SLMs führt. Sie zeigt ferner, dass die Anpassung von Reward-Designs aus rein textbasierten Modellen unzureichend ist, während IAPO die Leistung durch die Abstimmung der Eingabe-Attribution signifikant verbessert.

Experimentelle Ergebnisse

Die Methode wurde auf Aufgaben zur visuellen Beantwortung von Fragen unter Verwendung des Qwen2.5-VL-3B Modells als Policy und eines Qwen2.5-VL-7B Modells (trainiert mit GRPO) als Lehrer evaluiert.

Leistungssteigerungen: IAPO verbesserte die Genauigkeit der visuellen Beantwortung von Fragen im Durchschnitt um 3 % über sechs Testsets hinweg (einschließlich ChartQA, VWTQ und CharXiv) im Vergleich zu bestehender visueller Werkzeugnutzungs-Arbeit (VTool-R1, TRM, ToRL).
Genauigkeit der Werkzeugwahl: Fallstudien zeigten, dass selbst nach 100 Schritten Vanilla-GRPO-Training das SLM signifikante Fehler bei der Werkzeugwahl machte (z. B. Anwendung von zeilenbasierten Werkzeugen auf spaltenbasierte Diagramme). IAPO reduzierte diese Fehler signifikant, wobei die Erfolgsrate der Werkzeugaufrufe des Modells in späteren Trainingsphasen gegen 100 % ging.
Attributionsabstimmung: Die Studie zeigte, dass die IG-Scores für korrekte Eingabeteile während des Trainings zunahmen und schließlich jene für falsche Teile übertrafen, was mit der Reduktion der Fehlbedienung von Werkzeugen korrelierte. Das 7B-Lehrermodell wies eine klarere Trennung in den IG-Scores zwischen korrekten und inkorrekten Eingaben auf, was die Verwendung eines stärkeren Lehrers zur Anleitung validiert.
Generalisierung: IAPO demonstrierte eine überlegene Generalisierung auf Out-of-Distribution-Benchmarks (CharXiv), was darauf hindeutet, dass die Abstimmung der Attribution hilft, Overfitting auf oberflächliche Prompt-Korrelationen zu verhindern.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass IAPO einen effektiveren Rahmen für das Training multimodaler SLM-Agenten bietet als bestehende RL-Methoden. Ihre Bedeutung liegt in:

Überbrückung der Lücke für SLMs: Sie adresset die spezifische Schwierigkeit, die SLMs beim Lernen aus dünnen, binären Belohnungen haben, indem sie ein dichtes, prozessbasiertes Supervision-Signal aus der Eingabe-Attribution einführt.
Über das Binäre hinausgehen: Sie stellt die Abhängigkeit von exakter Übereinstimmung oder binären Ergebnisbelohnungen in multimodalen Settings in Frage und schlägt stattdin vor, dass die Abstimmung dessen, wie ein Modell auf eine Eingabe achtet (Attribution), entscheidend für eine robuste Werkzeugnutzung ist.
Teacher-Student-Distillation in RL: Sie nutzt erfolgreich ein stärkeres Lehrermodell nicht nur zur Imitation des Outputs, sondern zur Führung des internen Entscheidungsprozesses (Attributionsmuster) eines kleineren Studentenmodells während des Online-RL-Trainings.

Die Autoren kommen zu dem Schluss, dass größere Modelle zwar naturgemäß bessere Werkzeugwahl-Fähigkeiten und Attributionsmuster aufweisen, IAPO diese Fähigkeiten jedoch effektiv auf kleinere Modelle überträgt, was es ihnen ermöglicht, auf die relevantesten Eingabebeweise zu achten und eine State-of-the-Art-Leistung in multimodalen Werkzeugnutzungsaufgaben zu erzielen.