Technische Zusammenfassung: Ranking-bewusste Kalibrierung für zuverlässiges multimodales Reinforcement Learning

1. Problemstellung

Während das Reinforcement Learning (RL) nach dem Training die reasoning-Genauigkeit von Vision-Language-Modellen (VLMs) und Multimodalen Large Language Models (MLLMs) erheblich verbessert hat, leiden diese Modelle häufig unter einer schlechten Kalibrierung. Insbesondere versagen terminal korrekte Belohnungen, die üblicherweise im ergebnisbasierten RL eingesetzt werden, darin, selbstbewusste Fehler stärker zu bestrafen als unsichere, und sie erzwingen keine Beziehung zwischen dem Selbstbewusstsein und der Qualität der unterstützenden visuellen Evidenz.

Diese strukturelle Diskrepanz wird unter korrupten oder mehrdeutigen visuellen Eingaben kritisch. In solchen Szenarien generieren Modelle häufig flüssige, aber falsche Begründungen, während sie gleichzeitig ein hohes Selbstbewusstsein beibehalten, was zu „autoritärem Fehlargumentieren" oder Halluzinationen führt. Bestehende Kalibrierungsmethoden, wie z. B. nachträgliche Temperaturskalierung oder verbalisierte Selbstbewusstseins-Elicitierung, arbeiten auf eingefrorenen Modellen und können das erlernte Verhalten der Policy hinsichtlich des Selbstbewusstseins nicht verändern. Darüber hinaus berücksichtigen Standardziele, die nur Text betreffen, nicht die Degradation visueller Evidenz, eine einzigartige Herausforderung im multimodalen Reasoning, bei der das Selbstbewusstsein abnehmen sollte, wenn die Qualität der Evidenz sinkt.

2. Methodik: Das RAC-Framework

Die Autoren schlagen Ranking-Aware Calibration (RAC) vor, ein Trainings-Framework, das die Kalibrierung als natives Ziel innerhalb des multimodalen RL integriert. RAC nutzt die bestehende Struktur von gruppenbasiertem RL (insbesondere Group Relative Policy Optimization, kurz GRPO), um Überwachungssignale zu generieren, ohne externe Selbstbewusstseins-Annotationen zu benötigen.

Das Framework führt zwei relative Überwachungssignale ein, die aus dem RL-Sampling abgeleitet werden:

A. Ranking-bewusster Gruppenverlust (Innerhalb des Prompts)

Dieser Verlust adressiert die Reihenfolge des Selbstbewusstseins unter mehreren Kandidatenlösungen (Rollouts) für denselben Prompt.

• Mechanismus: Für einen gegebenen Prompt $x$ sampelt die Policy eine Gruppe von $n$ Rollouts. Die Methode identifiziert Paare, bei denen ein Rollout korrekt ist (höherer Verifizierer-Score) und ein anderer inkorrekt ist.
• Ziel: Es wird eine randbasierte Einschränkung erzwungen, bei der das korrekte Rollout einen höheren Selbstbewusstseins-Score erhalten muss als das inkorrekte ($c_{better} > c_{worse} + m_{rank}$).
• Wirkung: Dies zwingt die Policy, zwischen korrekten und inkorrekten Reasoning-Pfaden zu unterscheiden. Indem vom Modell verlangt wird, korrekten Antworten deutlich höheres Selbstbewusstsein zuzuweisen, wird die Qualität des zugrundeliegenden Reasonings gestärkt, wodurch die Aufgaben-Genauigkeit über das hinaus verbessert wird, was allein durch Korrektheits-Belohnungen erreicht werden kann.

B. Sauber–Korrumpiert-Paarverlust (Über die Evidenz hinweg)

Dieser Verlust adressiert die Beziehung zwischen Selbstbewusstsein und der Qualität visueller Evidenz.

• Mechanismus: Für jeden sauberen Prompt $x^{(0)}$ wird eine synthetisch korrumpierte Version $x^{(s)}$ erzeugt (unter Verwendung von ImageNet-C-Operatoren mit variierender Schwere $s$). Die Policy sampelt Rollouts für beide Versionen.
• Ziel: Es wird eine gerichtete Einschränkung erzwungen, bei der das Selbstbewusstsein auf der korrumpierten Ansicht niedriger sein muss als auf der sauberen Ansicht, wobei die erforderliche Lücke mit der Korruptionsschwere skaliert ($c_{clean} > c_{corrupted} + m_{corr} + \alpha s$).
• Wirkung: Dies lehrt das Modell, das Selbstbewusstsein zu dämpfen, wenn die visuelle Evidenz degradiert, und reduziert den Expected Calibration Error (ECE) sowie den Brier-Score unter degradierten Eingaben.

C. Vereinheitlichte Optimierung

Diese beiden Verluste werden in sequenz-level Formierungs-Belohnungen umgewandelt und in das Standard-GRPO-Ziel integriert. Die finale Belohnung für ein Rollout $i$ lautet:
$$\tilde{r}_i = r_{task, i} + \lambda_{rank} r_{rank, i} + \lambda_{corr} r_{corr, i} + \lambda_{fmt} r_{fmt, i}$$
wobei $r_{task}$ die Standard-Korrektheits-Belohnung ist und die anderen Terme aus den Ranking- und Korruptionsverlusten abgeleitet werden. Dieser Ansatz erfordert keine Änderungen am zugrundeliegenden Optimierer oder an der Modellarchitektur.

3. Hauptbeiträge

1. Relative Überwachungsperspektive: Das Papier identifiziert, dass standardmäßiges ergebnisbasiertes RL keine gerichteten Einschränkungen für das Selbstbewusstsein aufweist. Es zeigt, dass diese Einschränkungen unter Verwendung von Vergleichen überwacht werden können, die bereits im RL-Sampling inhärent sind (innerhalb-Prompt-Rollout-Gruppen und abgestimmte sauber–korrumpiert-Paare), wodurch externe Selbstbewusstseins-Labels überflüssig werden.
2. Das RAC-Framework: Eine Formalisierung dieser Überwachungsachsen in randbasierte Ranking- und Paarverluste. Diese werden zurück in sequenz-level Belohnungen verteilt und schaffen ein vereinheitlichtes Kalibrierungsziel, das mit jeder gruppenbasierten RL-Nachtrainings-Pipeline kompatibel ist.
3. Empirische Evaluation unter Korruption: Umfassende Evaluation auf sechs multimodalen Reasoning-Benchmarks unter Verwendung von Qwen2.5-VL- und InternVL-3.5-Backbones. Die Studie umfasst saubere Eingaben und fünf Stufen progressiver visueller Korruption (ImageNet-C).

4. Experimentelle Ergebnisse

Die Autoren evaluierten RAC an drei Modellfamilien (Qwen2.5-VL-3B/7B und InternVL-3.5-8B) über sechs Benchmarks hinweg (M3CoT, ScienceQA, MathVerse, MMMU, We-Math, MathVision).

• Kalibrierungsverbesserungen: Der Paar-Korruptionsverlust (+Pair) reduzierte ECE und Brier-Score erheblich (z. B. eine 13,4%ige Reduktion des ECE für InternVL-3.5-8B), während die Aufgaben-Genauigkeit weitgehend unverändert blieb. Dies bestätigt seine Rolle darin, Selbstbewusstseins-Dämpfung zu lehren, ohne direkt auf Antwortkorrektheit zu optimieren.
• Genauigkeitsverbesserungen: Der ranking-bewusste Verlust (+Rank) verbesserte die Aufgaben-Genauigkeit konsistent (z. B. ein 11,9%iger absoluter Gewinn für InternVL-3.5-8B), indem er die Policy dazu anregte, korrekten Reasoning-Pfaden ein höheres Selbstbewusstsein zuzuweisen.
• Kombinierte Leistung: Die Kombination beider Verluste (+Pair+Rank) erzielte in den meisten Settings die beste Leistung in beiden Dimensionen. Für InternVL-3.5-8B reduzierte die Kombination den ECE um 13,4% und den Brier-Score um 18,1% relativ zu Vanilla-RL, während sie gleichzeitig die Genauigkeit um 24,2% erhöhte.
• Korruptionsschwere beim Training: Die Studie fand eine nicht-monotone Beziehung zwischen der Trainingskorruptionsstärke und der Generalisierung. Leichte Korruption (Schwere $T_{0.2}$) bot die beste Kalibrierungsübertragung, während übermäßige Korruption ($T_{0.6}$ und höher) das Überwachungssignal destabilisierte und die Leistung verschlechterte.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass RAC eine strukturelle Lücke im multimodalen RL adressiert, in der das Selbstbewusstsein nicht explizit mit der Reasoning-Qualität oder der Evidenzqualität verknüpft ist. Indem RAC die Kalibrierung als natives Ziel und nicht als nachträgliche Korrektur behandelt,

• Verbessert es die Zuverlässigkeit: Es reduziert das Risiko autoritären Fehlargumentierens, indem es sicherstellt, dass das Selbstbewusstsein sinkt, wenn die visuelle Evidenz degradiert ist.
• Erhöht es die Genauigkeit: Es zeigt, dass das Erzwingen einer relativen Selbstbewusstseins-Reihenfolge als stärkeres Diskriminierungssignal wirkt als Korrektheits-Belohnungen allein, was zu besserem Reasoning führt.
• Effizienz: Es erzielt diese Gewinne ohne externe Annotationen oder Architekturänderungen und nutzt ausschließlich die Sampling-Geometrie, die gruppenbasiertem RL inhärent ist.

Die Autoren schließen, dass RAC derzeit zwar auf Multiple-Choice-Benchmarks evaluiert wird, bei denen binäre Korrektheit verfügbar ist, das Framework jedoch eine vielversprechende Richtung zur Verbesserung der Zuverlässigkeit multimodaler Reasoning-Systeme bietet, insbesondere in Szenarien mit verrauschten oder mehrdeutigen visuellen Eingaben. Als zukünftige Arbeit wird vorgeschlagen, adaptive Korruptions-Curricula zu erforschen und die Anwendung auf offene Generierungsszenarien zu untersuchen.