Technische Zusammenfassung: Verhungern zum Wahrnehmen

Problem: Das Phänomen der faulen Wahrnehmung

Vision-Language-Modelle (VLMs), die als situierte Agenten in Umgebungen mit hoher Auflösung eingesetzt werden, erfordern aktive Wahrnehmung – die Fähigkeit, dynamisch zu entscheiden, wohin man schaut, durch Operationen wie Heranzoomen, Zuschneiden und Schwenken. Die aktuellen Trainingsparadigmen (Supervised Fine-Tuning und Reinforcement Learning) produzieren jedoch häufig Modelle, die faule Wahrnehmung aufweisen. Diese Modelle imitieren die syntaktische Form von Wahrnehmungshandlungen (z. B. das Generieren korrekter Zoom-Befehle), ohne funktional von deren Ausgaben abhängig zu sein.

Die Ursache liegt in einer fundamentalen Lernasymmetrie: Wenn eine grobe globale Ansicht in Kombination mit starken sprachlichen Priors für eine moderate Genauigkeit ausreicht, hat das Modell keinen gradientenbasierten Anreiz, in die rechnerisch aufwendigere Strategie der mehrstufigen visuellen Suche zu investieren. Wenn ein Modell erfolgreich sein kann, ohne aktiv zu schauen, wird es niemals lernen, zu schauen. Diagnostische Belege zeigen, dass das Ersetzen von Zwischenbeobachtungen durch leere Eingaben oder das Korruptieren von Tool-Aufrufen die Modellgenauigkeit oft unverändert lässt, was auf eine Abhängigkeit von sprachlichen Priors statt von visuellen Beweisen hindeutet.

Methodik: Verhungern zum Wahrnehmen

Um dies zu adressieren, schlagen die Autoren Verhungern zum Wahrnehmen vor, ein Trainingsparadigma, das eingeschränkte visuelle Bandbreite erzwingt. Der Kernmechanismus beschränkt die visuelle Beobachtung bei jedem Denkschritt auf ein striktes Token-Budget ($B$), sodass keine einzelne Ansicht (einschließlich des ersten globalen Blicks) ausreichend Informationen enthält, um die Aufgabe zuverlässig zu lösen. Dies zwingt die aktive Wahrnehmung zur einzigen gangbaren Strategie für den Erfolg.

Das Framework arbeitet in zwei Stufen innerhalb standardmäßiger Nachtrainings-Pipelines (SFT-anschließend-RL):

1. Token-budgetbewusste visuelle Instruktionstuning (SFT):

   • Ziel: Initialisierung der Policy mit einem Verhaltensprior für aktive Wahrnehmung unter Token-Beschränkungen.
   • Datenerstellung: Trajektorien werden durch Lehrermodell-Distillation (Verwendung eines starken Lehrers in einer eingeschränkten Umgebung mit Ablehnungsstichproben) und Trajektorien-Umschreibung (Konvertierung bestehender hochwertiger Tool-Nutzungs-Datensätze in budgetbewusste Formate durch Downsampling von Ansichten und Neuausrichtung der räumlichen Koordinaten) generiert.
   • Einschränkung: Die visuelle Beobachtung $v_t$ wird durch einen deterministischen Downsampling-Operator $D(\cdot, B)$ erzeugt, der auf den zugeschnittenen Bereich des Originalbildes angewendet wird, wodurch sichergestellt wird, dass die Token-Anzahl $B$ niemals überschritten wird.

2. Reinforcement Learning durch Wahrnehmungsverhungern:

   • Ziel: Entwicklung einer echten funktionalen Abhängigkeit von visuellen Beobachtungen durch autonome Exploration.
   • Auflösungsabhängiges Budget: Das Token-Budget $B$ skaliert dynamisch mit der nativen Auflösung des Eingabebildes ($B(X) = \text{clip}(\lfloor |X|/\gamma \rfloor, B_{\min}, B_{\max})$), um einen konsistenten Druck des Wahrnehmungsverhungerns über diverse Eingaben hinweg aufrechtzuerhalten.
   • Belohnungssignal: Das Framework nutzt eine minimalistische, sparse Belohnung ($R=1$ für richtige Antwort, $0$ sonst). Da das visuelle Budget strukturell verhindert, dass feine Details allein aus der globalen Ansicht gelöst werden können, muss das Modell Zwischen-Fokus-Aktionen durchführen, um die Belohnung zu erreichen. Keine zusätzlichen Verluste oder Reward-Shaping sind erforderlich.
   • Optimierung: Die Policy wird unter Verwendung von GRPO (Group Relative Policy Optimization) auf Trajektorien optimiert, die innerhalb der eingeschränkten Umgebung gesammelt wurden.

Hauptbeiträge

• Identifikation fauler Wahrnehmung: Die Arbeit identifiziert und führt das Versagen aktueller VLMs, sich wirklich auf aktive visuelle Operationen zu verlassen, auf eine Lernasymmetrie zurück, bei der passive Abkürzungen dominieren.
• Paradigma „Verhungern zum Wahrnehmen": Ein neuartiger Trainingsmechanismus, der als Plug-in-Komponente in standardmäßige SFT-anschließend-RL-Pipelines integriert wird. Er erfordert keine Architekturänderungen, zusätzlichen Verluste oder komplexes Reward-Shaping.
• Übertragbarkeit von Fähigkeiten: Die Autoren liefern den ersten Nachweis, dass unter eingeschränktem Training erlernte Fähigkeiten zur aktiven Wahrnehmung robust auf unbeschränkte Testzeit-Szenarien übertragen werden.
• Effizienzgewinne: Der Ansatz erzielt signifikante Effizienzdividenden, reduziert die Trainingszeit um ca. 50 % und die Inferenz-Latenz um das 2,7- bis 5,1-fache aufgrund der verringerten Anzahl verarbeiteter visueller Token pro Schritt.

Ergebnisse

Die Autoren bewerteten ihr Modell (basierend auf Qwen2.5-VL-7B) gegen starke Baselines (z. B. DeepEyes, Chain-of-Focus, PixelReasoner) über diverse Benchmarks hinweg, darunter HR-Bench, V* Bench und wahrnehmungsintensive Denkaufgaben (MME-RealWorld-Lite, RealWorldQA).

• Unbeschränkte Leistung: Obwohl das Modell ausschließlich unter visuellen Bandbreitenbeschränkungen trainiert wurde, erreichte es auf unbeschränkten Benchmarks eine Gesamtpunktzahl von 64,59 und übertraf damit die stärkste 7B-skalierte, tool-erweiterte Baseline (DeepEyes mit 61,77) deutlich.
• Eingeschränkte Robustheit: Unter strengen Token-Budgets ($B=256$) verschlechterte sich das vorgeschlagene Modell nur um 0,18 Punkte im Vergleich zu seiner unbeschränkten Leistung. Im Gegensatz dazu erlitten Baselines, die ohne visuelle Beschränkungen trainiert wurden, Leistungseinbußen von 6,96 bis 7,29 Punkten, was zeigt, dass ihre „aktive Wahrnehmung" oberflächlich war und zusammenbrach, sobald der visuelle Reichtum entfernt wurde.
• Ablationsstudien:
  • SFT vs. RL: Budgetbewusstes SFT allein verbesserte die Leistung gegenüber normalem SFT, aber die Kombination mit eingeschränktem RL erzielte die besten Ergebnisse.
  • Notwendigkeit von SFT: Der Start von RL mit einem Basismodell ohne SFT führte dazu, dass die Policy in „faules" Verhalten kollabierte (Abhängigkeit von sprachlichen Priors), was bestätigt, dass SFT einen notwendigen Verhaltensprior liefert.
  • Notwendigkeit der Einschränkung: RL, das ohne visuelle Beschränkungen trainiert wurde (selbst mit SFT-Initialisierung), führte im Vergleich zur vollständig eingeschränkten Pipeline zu niedrigeren Raten aktiver Wahrnehmung und niedrigerer Endgenauigkeit.

Bedeutung

Die Arbeit argumentiert, dass überlegenes visuelles Reasoning nicht aus Eingabedichte entsteht, sondern aus dem Optimierungsdruck, Informationen effizient zu extrahieren. Indem passive Beobachtung während des Trainings strukturell unmöglich gemacht wird, wird das Modell gezwungen, die funktionale Abhängigkeit zwischen lokalen visuellen Hinweisen und dem Erfolg der Aufgabe zu internalisieren. Dieses Paradigma verschiebt die aktive Wahrnehmung von einer optionalen Verbesserung zu einer grundlegenden Fähigkeit und ermöglicht den Einsatz robuster, effizienter visueller Agenten in rechenbeschränkten Umgebungen (z. B. On-Device-Anwendungen), ohne die Leistung in Umgebungen mit hoher Auflösung zu beeinträchtigen. Die Arbeit legt nahe, dass visuelle Bandbreite als bewusste Designvariable für den Aufbau wahrnehmungsfundierter Vision-Language-Agenten behandelt werden sollte.