💬 NLP

Training Data Efficiency in Multimodal Process Reward Models

Diese Arbeit befasst sich mit den hohen Trainingskosten von multimodalen Prozess-Belohnungsmodellen durch die Einführung eines theoretischen Rahmens und der Balanced-Information Score (BIS)-Methode, welche bestehende Rollout-Signale nutzt, um hochinformative Datensubsets auszuwählen, die mit nur 10 % des Trainingskorpus die Leistung des vollständigen Datensatzes erreichen.

Ursprüngliche Autoren: Jinyuan Li, Chengsong Huang, Langlin Huang, Shaoyang Xu, Haolin Liu, Wenxuan Zhang, Jiaxin Huang

Veröffentlicht 2026-02-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jinyuan Li, Chengsong Huang, Langlin Huang, Shaoyang Xu, Haolin Liu, Wenxuan Zhang, Jiaxin Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten Roboter beizubringen, komplexe visuelle Rätsel zu lösen, wie zum Beispiel mathematische Aufgaben mit Diagrammen. Um dies zu erreichen, zeigen Sie ihm nicht nur das Endergebnis; Sie möchten, dass er von jedem einzelnen Schritt lernt, den er macht. Hier kommen Multimodale Prozess-Belohnungsmodelle (Multimodal Process Reward Models – MPRMs) ins Spiel. Sie fungieren wie ein strenger Lehrer, der dem Roboter für jeden Zwischenschritt ein „Daumen hoch“ oder „Daumen runter“ gibt.

Die Erstellung eines solchen Lehrers ist jedoch teuer. Traditionell trainieren Forscher diesen Lehrer, indem sie massive Mengen an Übungsaufgaben (sogenannte „Rollouts“) generieren und einen Computer tausende mögliche Ausgänge für jeden Schritt simulieren lassen, um herauszufinden, ob der Schritt gut oder schlecht war. Dies erzeugt einen riesigen Datensatz, aber das Paper argumentiert, dass dieser Datensatz größtenteils aus verschwendetem Platz besteht.

Hier ist die einfache Aufschlüsselung dessen, was das Paper herausgefunden und vorgeschlagen hat:

1. Das Problem: Die „Nadel im Heuhaufen“ ist eigentlich nur viel Heu

Die Forscher testeten eine einfache Idee: Was wäre, wenn wir einfach 75 % der Trainingsdaten zufällig wegwerfen würden?

Das Ergebnis: Überraschenderweise wurde der Roboter nicht wesentlich schlechter darin, Rätsel zu lösen.
Die Analogie: Stellen Sie sich vor, Sie versuchen zu lernen, wie man einen Kuchen backt, indem Sie 1.000 Kochbücher lesen. Sie stellen fest, dass 90 % der Seiten lediglich dieselben Anweisungen wiederholen, die Sie bereits kennen. Wenn Sie nur die 100 einzigartigsten Seiten lesen, können Sie immer noch einen perfekten Kuchen backen. Das Paper fand heraus, dass aktuelle Trainingsdaten wie diese 900 repetitiven Seiten sind – sie sind redundant.

2. Die Entdeckung: Nicht alle „schlechten“ Schritte sind gleich schlecht

Die Forscher erkannten, dass man dem Roboter nicht einfach irgendwelche Beispiele geben muss, sondern zwei spezifische Arten von Beispielen benötigt:

Die „gemischte“ Lektion: Man braucht Beispiele, bei denen der Roboter im selben Problem sowohl einige gute als auch einige schlechte Schritte macht. Wenn ein Problem zu 100 % perfekt oder zu 100 % falsch ist, ist es langweilig und lehrt den Roboter nur sehr wenig. Der Roboter lernt am besten, wenn er eine Mischung aus richtigen und falschen Zügen sieht.
Die „zuverlässige“ Lektion: Man muss sicher sein, dass die „guten“ Schritte auch wirklich gut sind. Manchmal sagt eine Computersimulation, ein Schritt sei „gut“, nur durch Glück (wie beim Raten der richtigen Antwort in einem Multiple-Choice-Test). Dies sind „verrauschte“ oder „falsche“ Positive. Der Roboter wird dadurch verwirrt.

3. Die Lösung: Der „Balanced-Information Score“ (BIS)

Um dies ohne mehr Computer oder Geld zu lösen, entwickelten die Autoren ein einfaches Bewertungssystem namens BIS. Betrachten Sie es als einen Qualitätsfilter für die Trainingsdaten.

Wie es funktioniert: Bevor das Training des Roboters beginnt, prüft der BIS jedes Übungsproblem und stellt zwei Fragen:
1. Hat dieses Problem eine Mischung aus richtigen und falschen Schritten? (Mischung)
2. Sind die „richtigen“ Schritte tatsächlich zuverlässig oder waren sie nur glückliche Zufälle? (Zuverlässigkeit)
Die Auswahl: Es wählt die Top 10 % der Probleme aus, die auf dieser „ausgewogenen“ Skala am höchsten punkten. Es ignoriert die langweiligen, repetitiven und die verwirrenden, verrauschten Beispiele.

4. Das Ergebnis: Weniger Daten, bessere Ergebnisse

Das Paper testete dies auf zwei verschiedenen Roboter-Gehirnen (InternVL und Qwen).

Die Magie: Durch die Verwendung des BIS-Filters trainierten sie den Roboter mit nur 10 % der ursprünglichen Daten.
Das Ergebnis: Diese winzige, sorgfältig ausgewählte 10 % schnitten genauso gut ab (oder sogar besser) wie das Training mit 100 % der ursprünglichen, unordentlichen Daten.
Der Vergleich: Wenn sie einfach nur zufällig 10 % der Daten ausgewählt hätten (wie beim Dartwerfen auf eine Zielscheibe), wäre der Roboter signifikant schlechter abgeschnitten hätte. Der BIS-Filter war der Unterschied zwischen einem mittelmäßigen Schüler und einem Spitzenschüler.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie sind ein Trainer, der einen Athleten trainiert.

Der alte Weg: Sie lassen den Athleten 1.000 Runden laufen. 900 davon sind auf einer flachen, leeren Strecke (langweilig/redundant) und 100 von ihnen sind auf einer Strecke mit Schlaglöchern und verwirrenden Schildern (verrauscht/störend).
Der Weg des Papers: Sie nutzen einen BIS-Score, um die besten 100 Runden auszuwählen. Sie wählen Runden aus, die eine Mischung aus Hügeln und Flachstücken haben (um Balance zu lehren) und stellen sicher, dass die Strecke frei von verwirrenden Schildern ist (Zuverlässigkeit).
Ergebnis: Der Athlet wird in einem Zehntel der Zeit fitter und klüger, indem er nur die nützlichsten Trainingseinheiten absolviert.

Das Wesentliche: Das Paper beweist, dass wir nicht mehr Daten brauchen, um diese KI-Modelle zu trainieren; wir brauchen nur intelligentere Daten. Indem wir Redundanz und Rauschen herausfiltern, können wir enorme Mengen an Rechenleistung und Energie sparen und gleichzeitig bessere Ergebnisse erzielen.

Technisches Resümee: Effizienz von Trainingsdaten in multimodalen Prozess-Belohnungsmodellen

1. Problemstellung

Multimodale Prozess-Belohnungsmodelle (Multimodal Process Reward Models, MPRMs) sind essenziell für die Bereitstellung von schrittweiser Supervision in multimodalen Large Language Models (MLLMs) bei visuellen Denkaufgaben. Das Training von MPRMs stützt sich jedoch typischerweise auf groß angelegte Korpora von Monte-Carlo (MC)-annotierten Rollouts (z. B. VisualPRM400K-v1.1 mit 565K Rollouts und 3,17M annotierten Schritten). Dieser Prozess verursacht erhebliche Rechenkosten.

Das Paper identifiziert einen praktischen Engpass: die Effizienz der Trainingsdaten. Vorläufige Beobachtungen deuten darauf hin, dass die Leistung von MPRMs bei zufälliger Subsampling von Trainingsdaten schnell stagniert, was auf eine signifikante Redundanz in bestehenden MC-annotierten Korpora hindeutet. Die zentralen Forschungsfragen sind:

Wie skaliert die Leistung von MPRMs mit dem Rollout-Budget?
Wie lassen sich informative Teilmengen von Daten auswählen, die die Leistung des vollständigen Datensatzes bewahren oder übertreffen, ohne zusätzliche Annotations- oder Modellaufrufe zu verursachen?

2. Methodik

2.1 Empirische Vorstudie

Die Autoren führten vorläufige Experimente unter Verwendung des VisualPRM400K-v1.1-Datensatzes und des InternVL2.5-8B-Backbones durch.

Beobachtung der Redundanz: Zufälliges Subsampling (z. B. Beibehaltung von nur 25 % der Rollouts) führte zu einer Leistung, die schnell ein Plateau erreichte und selbst mit deutlich weniger Updates nahe an der Leistung des vollständigen Datensatzes blieb. Dies deutet darauf hin, dass die Vergrößerung der Datensatzgröße aufgrund von Label-Rauschen und Datenredundanz abnehmende Erträge liefert.
Heuristische Analyse: Die Autoren verglichen verschiedene Strategien zur Auswahl von Teilmengen:
- Random (Zufällig): Baseline.
- Low-MC: Auswahl von Rollouts mit den niedrigsten durchschnittlichen MC-Scores (höchste Fehler-Schritt-Verhältnisse). Dies führte zu vielen „Pseudo-Positiven“ Labels (Schritte, die trotz sehr geringer Erfolgsraten als positiv gelabelt wurden), was die Leistung beeinträchtigte.
- Mixed (Gemischt): Auswahl von Rollouts, die sowohl korrekte als auch inkorrekte Schritte enthalten. Dies übertraf die Zufallsauswahl, war aber im Vergleich zu einem ausgewogenen Ansatz immer noch suboptimal.

2.2 Theoretischer Rahmen

Um diese empirischen Ergebnisse zu erklären, formalisierten die Autoren einen Teacher-Student-Abstraktionsrahmen:

Teacher-Modell: Ein ideales Modell, das die wahre schrittweise Korrektheit ( $q^*$ ) kennt.
Student-Modell: Das gelernte MPRM, das auf verrauschten MC-annotierten Labels trainiert wurde.
Gradientenanalyse: Die Autoren modellierten das MC-Schätzrauschen über ein probabilistisches Label-Flip-Modell. Sie leiteten her, dass das informative Gradientensignal von zwei multiplikativen Faktoren abhängt:
1. Label-Mischung (Unsicherheit): Der Term $q^*(1-q^*)$ ist maximiert, wenn der Teacher unsicher ist (d. h. der Rollout eine Mischung aus positiven und negativen Schritten enthält). Rein positive oder rein negative Rollouts liefern schwache Signale.
2. Label-Zuverlässigkeit (Rauschpegel): Die effektive Rauschrate $\eta$ ist hoch für Schritte mit extrem niedrigen MC-Scores, die dennoch als positiv gelabelt sind (Pseudo-Positive). Diese Schritte wirken wie Label-invertierte Samples, die eher Varianz als Signal hinzufügen.
Fazwendung: Informative Rollouts sind jene, die gemischt (hohe Unsicherheit) aber zuverlässig (geringes Rauschen bei positiven Labels) sind.

2.3 Vorgeschlagene Lösung: Balanced-Information Score (BIS)

Geleitet von den theoretischen Erkenntnissen schlagen die Autoren den Balanced-Information Score (BIS) vor, einen Scoring-Mechanismus auf Rollout-Ebene, der keine zusätzlichen Modellaufrufe oder Supervision erfordert. Er nutzt ausschließlich die bereits im Datensatz gespeicherten MC-Scores.

Für einen Rollout $x$ mit $n$ Schritten:

Label-Mischung ( $p_{pos}$ ): Das Verhältnis der positiven Schritte im Rollout. Der Mischungsterm ist $p_{pos}(1 - p_{pos})$ , welcher maximiert wird, wenn der Rollout eine Balance aus positiven und negativen Schritten enthält.
Zuverlässigkeit ( $R(x)$ ): Der durchschnittliche MC-Score der positiven Schritte im Rollout. Ein hohes $R(x)$ zeigt an, dass die positiven Schritte tatsächlich zuverlässig sind (geringes Rauschen).
BIS-Formel:
$BIS(x) = (p_{pos}(1 - p_{pos}) + \alpha) \times R(x)$
Wobei $\alpha$ eine kleine Glättungskonstante ist, um Null-Gewichte für Rollouts mit geringer Mischung zu verhindern.

Auswahlprozess: Die Rollouts werden nach ihrem BIS-Score innerhalb jedes Quellendatensatzes sortiert, und der oberste Bruchteil $\rho$ wird ausgewählt, um die Trainings-Teilmenge zu bilden.

3. Kernergebnisse

Die Experimente wurden auf VisualProcessBench unter Verwendung von zwei Backbones durchgeführt: InternVL2.5-8B und Qwen2.5-VL-7B.

Dateneffizienz: BIS-ausgewählte Teilmengen erreichten konsistent die Leistung des vollständigen Datensatzes oder übertrafen diese unter Verwendung deutlich weniger Rollouts.
- InternVL2.5-8B: Eine BIS-10%-Teilmenge (unter Verwendung von nur 10 % der Daten) erreichte ein Gesamt-Mikro-F1 von 65,46 %, was der Leistung des vollständigen Datensatzes entspricht und die Random-10%-Baseline um +2,6 Punkte übertrifft.
- Qwen2.5-VL-7B: Das Modell zeigte noch größere Gewinne in Low-Budget-Regimen, wobei BIS-5 % die Random-5 %-Baseline um +10,9 Punkte übertraf.
Best-of-N Reranking: In praktischen Reranking-Szenarien (Auswahl der besten Antwort aus 16 Kandidaten) erreichten MPRMs, die auf BIS-25%-Teilmengen trainiert wurden, die höchste Leistung über vier Benchmarks (MM-K12, OlympiadBench, MathVerse, MathVista) hinweg und übertrafen sowohl die Random-25 %- als auch die Full-Data-Modelle.
Ablationsstudien:
- Das Entfernen entweder der Mischungs- oder der Zuverlässigkeitskomponente (z. B. durch Verwendung von nur „Mixed“ oder nur „Reliable“ Teilmengen) führte zu einer geringeren Leistung, was bestätigt, dass beide Faktoren notwendig sind.
- Die Methode ist robust gegenüber dem Glättungshyperparameter $\alpha$ , wobei $\alpha=0,05$ optimale Ergebnisse liefert.
- Die Verwendung von Soft-MC-Labels erwies sich als unterlegen gegenüber Hard-Binarized-Labels, was wahrscheinlich auf das Rauschen in den MC-Schätzungen zurückzuführen ist.

4. Bedeutung und Ansprüche

Das Paper behauptet, ein praktisches Rezept zur Reduzierung der Rechenkosten beim Training von MPRMs bereitzustellen, ohne die Modellleistung zu beeinträchtigen.

Theoretische Erkenntnis: Es stellt fest, dass das MPRM-Training primär durch Gradientenrauschen (verursacht durch Label-Rauschen und mangelnde Mischung) als durch Datenknappheit begrenzt wird.
Effizienz: Die BIS-Methode ermöglicht es, mit nur 10 % der ursprünglichen Daten zu trainieren und gleichzeitig die Leistung des vollständigen Datensatzes beizubehalten, was effektiv ca. 90 % der mit der Datenverarbeitung und den Trainingsschritten verbundenen Rechenkosten einspart.
Kostenfreie Auswahl: Im Gegensatz zu Active Learning oder anderen Datenselektionsmethoden basiert BIS vollständig auf bestehenden MC-Signalen und verursacht keine zusätzlichen Kosten für Modellinferenz oder Annotation.
Generalisierbarkeit: Der Ansatz ist modellagnostisch und zeigte seine Wirksamkeit über verschiedene Backbone-Architekturen hinweg (InternVL- und Qwen-Serien).

Die Autoren kommen zu dem Schluss, dass zukünftige MPRM-Korpora basierend auf diesen „Mischungs- und Zuverlässigkeits“-Prinzipien kuratiert werden sollten, anstatt lediglich die Skalierung zu erhöhen, was ein datenzentriertes Prinzip für effizientes multimodales Reasoning-Training bietet.