🤖 machine learning

DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation

Das Papier stellt DeltaPrompts vor, einen Datensatz mit 200.000 synthetischen Schlussfolgerungsproblemen, die durch eine gestufte Pipeline generiert wurden und auf „Zero-Delta"-Prompts abzielen, bei denen Lehrer- und Schülermodelle übereinstimmen, wodurch die Lernsignale maximiert und in verschiedenen multimodalen Distillierungsszenarien relative Leistungsverbesserungen von bis zu 15 % erzielt werden.

Ursprüngliche Autoren: Jaehun Jung, Hyunwoo Kim, Brandon Cui, Ximing Lu, David Acuna, Prithviraj Ammanabrolu, Yejin Choi

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jaehun Jung, Hyunwoo Kim, Brandon Cui, Ximing Lu, David Acuna, Prithviraj Ammanabrolu, Yejin Choi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Zero-Delta"-Falle

Stellen Sie sich vor, Sie sind ein Schüler, der versucht, komplexe Mathematikaufgaben von einem genialen Lehrer zu lernen. Sie möchten lernen, indem Sie beobachten, wie der Lehrer Aufgaben löst, und diese dann selbst versuchen. Dieser Prozess wird Distillation genannt.

Normalerweise greifen Forscher einfach auf einen großen Haufen bestehender Mathematikaufgaben (wie aus einem Lehrbuch) zurück und nutzen diese für dieses Training. Doch die Autoren dieses Papiers entdeckten einen versteckten Fehler in diesem Ansatz: Die meisten dieser Aufgaben sind für den Schüler zu einfach.

Sie nennen dies die „Zero-Delta-Falle".

Das Szenario: Sie geben eine Aufgabe dem Lehrer. Der Lehrer löst sie. Dann geben Sie die exakt gleiche Aufgabe dem Schüler.
Die Falle: Der Schüler weiß die Lösung bereits perfekt. Er erhält genau dieselbe Antwort wie der Lehrer.
Das Ergebnis: Da Schüler und Lehrer zu 100 % übereinstimmen, lernt der Schüler nichts. Es ist, als würde ein Lehrer einem Schüler einen Begriff erklären, den dieser bereits gestern gemeistert hat. Das Gehirn des Schülers leuchtet nicht auf; es werden keine neuen Verbindungen geknüpft.

Das Papier stellt fest, dass in Standard-Datensätzen, die für die reasoning von Diagrammen und Dokumenten verwendet werden, bis zu 69 % der Aufgaben „Zero-Delta" sind. Schüler und Lehrer sind bereits auf derselben Seite, daher ist das Training mit ihnen eine Zeitverschwendung. Selbst wenn Sie dem Schüler das 100-fache dieser leichten Aufgaben geben, wird er nicht intelligenter.

Die Lösung: Messen der „Lücke" (Delta)

Um dies zu beheben, entwickelten die Autoren eine neue Regel: Eine Aufgabe ist nur dann nützlich, wenn Lehrer und Schüler unterschiedliche Antworten geben.

Sie nennen diese Meinungsverschiedenheit „Antwortdivergenz" (oder Delta, $\Delta$ ).

Hohes Delta: Der Lehrer löst es auf eine Weise, und der Schüler liegt falsch (oder rät anders). Dies ist eine Lerngelegenheit. Der Schüler erkennt: „Ah, ich habe diesen Schritt übersehen!" und lernt aus der Korrektur des Lehrers.
Zero Delta: Beide liegen richtig. Es findet kein Lernen statt.

Das Papier argumentiert, dass man für eine intelligente KI nicht mehr Daten benötigt, sondern bessere Daten – speziell Daten, bei denen die KI tatsächlich Schwierigkeiten hat.

Die Korrektur: Aufbau eines „Delta"-Datensatzes

Da bestehende Lehrbücher voller „Zero-Delta"-Aufgaben sind, bauten die Autoren ein neues System, um ihre eigenen Aufgaben zu erstellen. Sie nennen diesen neuen Datensatz DELTAPROMPTS.

Hier ist, wie sie ihn mit einem dreistufigen Rezept erstellten:

Seed-Gesteuerte Generierung (Die Skizze): Sie nahmen bestehende Aufgaben und baten eine leistungsstarke KI (den „Lehrer"), neue, schwierigere Versionen davon zu erstellen. Denken Sie daran wie an einen Lehrer, der eine Mathematikaufgabe betrachtet und sagt: „Okay, machen wir das etwas kniffliger."
Fertigkeitsgesteuerte Generierung (Das Ziel): Dies ist das Geheimnis. Das System schaut, wo die Schüler-KI in der Vergangenheit gescheitert ist. Es fragt den Lehrer: „Welche spezifische Fertigkeit hat der Schüler verpasst?" (z. B. „Der Schüler konnte die winzigen Zahlen im Diagramm nicht lesen"). Dann generiert der Lehrer eine neue Aufgabe, die speziell darauf ausgelegt ist, genau diese schwache Fertigkeit zu testen.
Der Ablehnungsfilter (Der Türsteher): Sie generieren Tausende neuer Aufgaben. Aber bevor sie sie behalten, führen sie einen Test durch: „Kriegt der Schüler das falsch hin, während der Lehrer es richtig hat?"
- Wenn Ja (Hohes Delta): Behalten.
- Wenn Nein (Zero Delta): Wegwerfen.

Das Ergebnis ist ein Datensatz mit 200.000 maßgeschneiderten Aufgaben, bei denen garantiert ist, dass der Schüler Schwierigkeiten hat, was ein maximales Lernen sicherstellt.

Die Ergebnisse: Der Schüler wird supercharged

Die Autoren testeten diesen neuen Datensatz an verschiedenen KI-Modellen. Die Ergebnisse waren beeindruckend:

Massive Gewinne: Selbst beim Training eines bereits sehr klugen KI-Modells verbesserte die Verwendung von DELTAPROMPTS die Leistung im Vergleich zur Verwendung von Standard-Datensätzen um bis zu 15 %.
Es funktioniert bei neuen Schülern: Sie nahmen die Aufgaben, die für eine Art KI erstellt wurden, und gaben sie einer komplett anderen Art von KI. Es funktionierte immer noch! Dies beweist, dass die Aufgaben nicht nur spezifische Antworten auswendig lernen; sie lehren allgemeine reasoning-Fähigkeiten.
Besser in allem: Die KI wurde nicht nur besser im Umgang mit Diagrammen; sie wurde auch besser im Lesen von Dokumenten und im Verständnis realer Bilder.

Das Fazit

Das Papier kommt zu dem Schluss, dass die Engpassstelle beim Unterrichten von KI nicht das Vorhandensein von mehr Daten ist, sondern das Vorhandensein der richtigen Daten.

Die Analogie:
Wenn Sie fit werden wollen, hilft Laufen auf einem Laufband mit 1,6 km/h (Zero-Delta) nicht weiter, selbst wenn Sie 10 Stunden laufen. Sie müssen in einem Tempo laufen, bei dem Sie sich anstrengen, aber dennoch fertig werden (High-Delta). DELTAPROMPTS ist der Personal Trainer, der das Tempo ständig anpasst, um sicherzustellen, dass Sie sich immer in diesem „Sweet Spot" des Lernens befinden, anstatt Sie bei leichten Aufgaben dahingleiten zu lassen.

Indem sich die Autoren auf die Lücke zwischen dem, was die KI weiß, und dem, was sie lernen muss, konzentrierten, schufen sie einen viel effizienteren Weg, um intelligentere, kleinere KI-Modelle zu trainieren.

Technische Zusammenfassung: DeltaPrompts – Entkommen aus der Zero-Delta-Falle bei der multimodalen Destillation

Problemstellung

Wissensdestillation hat sich zu einem entscheidenden Mechanismus entwickelt, um kompakte Vision-Language-Modelle (VLMs) durch die Nutzung leistungsfähigerer Lehrermodelle mit starken Schlussfolgerungsfähigkeiten auszustatten. Die aktuellen Praktiken stützen sich jedoch stark auf verfügbare Datensätze (z. B. ChartQA, SciVQA), bei denen Prompts entweder über einfache Heuristiken ausgewählt oder aus bestehenden Sammlungen aggregiert werden. Die Autoren identifizieren eine kritische Ineffizienz in diesem Ansatz: Ein erheblicher Teil dieser Prompts ist „zero-delta".

Ein Prompt wird als zero-delta definiert, wenn Lehrer- und Schülermodelle für einen gegebenen Input exakt dieselbe Antwortverteilung erzeugen. In solchen Fällen liefert das Destillationssignal nur einen minimalen Lernwert, da der Schüler nicht mit einer Fähigkeitslücke konfrontiert wird, die es zu überbrücken gilt. Die Studie zeigt, dass bis zu 69 % der Prompts in Standarddatensätzen für Diagramm- und Dokumentenschlussfolgerungen effektiv zero-delta sind. Das Training mit diesen Prompts führt dazu, dass die Leistung des Schülers unabhängig vom Datenumfang schnell saturiert. Darüber hinaus ist das einfache Filtern bestehender Datensätze, um nur non-zero-delta-Prompts zu behalten, suboptimal, da dies die Vielfalt der Trainingsdaten drastisch reduziert (um bis zu 29,4 %), was zu einem Trade-off führt, bei dem Divergenz auf Kosten der Generalisierung gewonnen wird.

Methodik

Um die Zero-Delta-Falle zu adressieren, schlagen die Autoren einen Wechsel von der passiven Datencuration zur aktiven Prompt-Synthese vor, die vom Prinzip der Antwortdivergenz ( $\Delta$ ) geleitet wird.

1. Definition der Antwortdivergenz

Anstatt eine Divergenz auf Sequenzebene zu messen (die aufgrund variabler Ausgabelängen verrauscht und rechnerisch nicht handhabbar ist), definieren die Autoren die Antwortdivergenz über den diskreten Raum der finalen Antworten.

Metrik: $\Delta(x) = D_{KL}(P_\theta(\cdot|x) \parallel P_T(\cdot|x))$ , wobei $P_\theta$ und $P_T$ die empirischen Antwortverteilungen des Schülers bzw. des Lehrers darstellen.
Schätzung: Die Verteilungen werden angenähert, indem $K=16$ Trajektorien von beiden Modellen gesampelt werden. Ein LLM-Richter (Qwen3-32B) gruppiert semantisch äquivalente Antworten, um oberflächliche Variationen zu handhaben, was eine robuste Berechnung der Divergenz auch für offene Antworten ermöglicht.

2. Die DELTAPROMPTS-Synthesepipeline

Die Autoren schlagen eine gestaffelte Synthesepipeline vor, die bestehende Datensätze als Samen (Seeds) und nicht als direkte Trainingsressourcen wiederverwendet. Die Pipeline besteht aus drei Stufen:

Stufe 1: Samen-gesteuerte Generierung: Bestehende Bild-Prompt-Paare werden als Few-Shot-Beispiele verwendet, um das Lehrermodell dazu zu bringen, neue, schwierigere Probleme für neue Bilder zu generieren. Dies erweitert den Kandidatenpool.
Stufe 2: Fähigkeits-gesteuerte Generierung: Um Schülerfehlermodi explizit zu adressieren, extrahiert die Pipeline „Fähigkeiten" (Skills), indem sie Lehrer-Trajektorien (korrekt) gegen Schüler-Trajektorien (falsch) für Prompts mit nicht-null Divergenz kontrastiert. Diese Fähigkeiten (z. B. „Interpolation logarithmischer Skalen") werden dann verwendet, um den Datengenerator zu konditionieren und ihn zu zwingen, Prompts zu erstellen, die diese spezifischen fehlenden Fähigkeiten erfordern.
Stufe 3: Zero-Delta-Ablehnung: Alle generierten Prompts werden auf Antwortdivergenz bewertet. Prompts, bei denen Lehrer und Schüler übereinstimmen (zero-delta), werden verworfen. Nur Prompts mit hoher Lehrer-Konsistenz und nicht-null Divergenz werden behalten.

Dieser Prozess führt zu DELTAPROMPTS, einem Datensatz mit 200.000 synthetischen, hochdivergenten Schlussfolgerungsproblemen, die Diagramm-/Dokumentenschlussfolgerungen sowie hochauflösende, wahrnehmungsorientierte Schlussfolgerungen abdecken.

Hauptbeiträge

Identifizierung der Zero-Delta-Falle: Die Studie zeigt empirisch, dass Standarddatensätze für multimodale Schlussfolgerungen von zero-delta-Prompts dominiert werden, was zu einer frühen Sättigung der Schülerleistung während der Destillation führt.
Antwortdivergenz als prinzipielle Metrik: Die Autoren führen die Antwortdivergenz als handhabbare und kritische Metrik zur Quantifizierung der Fähigkeitslücke zwischen Lehrer und Schüler ein und zeigen, dass sie ein stärkerer Prädiktor für den Erfolg der Destillation ist als der reine Datenumfang oder die reine Vielfalt allein.
Eine zweistufige Synthesepipeline: Eine neuartige Methode zur Generierung hochwertiger Trainingsdaten, die aktiv Schülerfehlermodi durch fähigkeitsgesteuerte Generierung aufspürt, anstatt bestehende Daten passiv zu filtern.
DELTAPROMPTS-Datensatz: Ein groß angelegter, vielfältiger Datensatz mit 200.000 Prompts, der speziell entwickelt wurde, um die Antwortdivergenz zu maximieren und bestehende Mischungen sowohl in Divergenz- als auch in Vielfaltsmetriken zu übertreffen.

Experimentelle Ergebnisse

Die Autoren bewerten DELTAPROMPTS in drei verschiedenen Szenarien unter Verwendung der Qwen3-VL- und GLM-4-Modellfamilien:

On-Policy-Destillation: Bei der Destillation eines Schülers (Qwen3-VL-8B-Thinking) aus einem Lehrer (Qwen3-VL-235B-Thinking) erzielt DELTAPROMPTS eine relative Verbesserung von bis zu 15 % über 10 Benchmarks (einschließlich ChartQA, InfoVQA und RealWorldQA), selbst wenn der Basisschüler bereits ein hoch optimiertes Schlussfolgerungsmodell ist.
Cross-Family-Transfer: Der Datensatz generalisiert auf eine andere Modellfamilie (GLM-4.1V-9B-Thinking), ohne dass die Daten neu generiert werden müssen; dies geschieht einfach durch erneutes Filtern nach nicht-null Divergenz unter dem neuen Paar.
Off-Policy-Feinabstimmung (SFT): Bei Verwendung für standardmäßiges überwachtes Fine-Tuning (SFT) an einem Nicht-Schlussfolgerungsmodell (Qwen3-VL-8B-Instruct) übertrifft DELTAPROMPTS das SFT auf bestehenden Datenmischungen erheblich und zeigt eine bessere Behaltensleistung bei Aufgaben außerhalb des Domänenbereichs (Mathematik, Logik, MINT) im Vergleich zum Standard-SFT.
Ablationsstudien:
- Divergenz vs. Vielfalt: Unter Kontrolle der Vielfalt führt das Training mit Delta-Prompts ( $\Delta > 0$ ) weiterhin zu Leistungssteigerungen mit zunehmender Datenmenge, während zero-delta-Prompts ( $\Delta = 0$ ) sofort saturieren.
- Konsistenzfilterung: Prompts, bei denen der Lehrer inkonsistent ist (schwierig zu lösen, selbst für den Lehrer), verschlechtern die Leistung und validieren die Notwendigkeit einer konsistenzbasierten Filterung in der Synthesepipeline.

Bedeutung und Behauptungen

Die Studie behauptet, dass der zentrale Engpass bei der multimodalen Destillation nicht die Aggregation weiterer Prompts oder Trajektorien ist, sondern die Konstruktion von Prompts, bei denen Lehrer und Schüler sinnvoll disagree (nicht übereinstimmen).

Durch den Wechsel des Fokus von Datenmenge zu Divergenzqualität zeigen die Autoren, dass gezielte Prompt-Synthese erhebliche Gewinne mit deutlich weniger Daten im Vergleich zur heuristischen Aggregation bestehender Datensätze erzielen kann. Die Arbeit legt nahe, dass die Antwortdivergenz eine fundamentale Eigenschaft für eine effektive Skalierung bei der Destillation ist und einen Weg bietet, leistungsfähige kompakte Modelle effizienter zu trainieren. Die Autoren positionieren DELTAPROMPTS nicht nur als Datensatz, sondern als Proof-of-Concept für einen prinzipielleren, datenzentrierten Ansatz zur Destillation, der gezielt die spezifischen Fähigkeitslücken des Schülermodells adressiert.