Technische Samenvatting: DeltaPrompts – Ontsnappen aan de Zero-Delta-valkuil in Multimodale Distillatie

Probleemstelling

Kennisdistillatie is uitgegroeid tot een cruciaal mechanisme om compacte Vision-Language Models (VLM's) sterke redeneervermogens te geven door gebruik te maken van sterkere teacher-modellen. Echter, huidige praktijken vertrouwen sterk op kant-en-klare datasets (bijv. ChartQA, SciVQA) waarbij prompts worden geselecteerd via simpele heuristieken of worden samengevoegd uit bestaande pools. De auteurs identificeren een kritieke inefficiëntie in deze aanpak: een aanzienlijk deel van deze prompts is "zero-delta".

Een prompt wordt gedefinieerd als zero-delta wanneer de teacher- en student-modellen voor een gegeven invoer exact dezelfde antwoordverdeling genereren. In dergelijke gevallen levert het distillatiesignaal minimale leerwaarde op, omdat de student niet wordt blootgesteld aan een competentiekloof die het moet overbruggen. Het artikel onthult dat tot 69% van de prompts in standaard datasets voor redeneren over diagrammen en documenten effectief zero-delta zijn. Training op deze prompts zorgt ervoor dat de prestaties van de student snel verzadigen, ongeacht de dataschaal. Bovendien is het simpelweg filteren van bestaande datasets om alleen non-zero-delta prompts te behouden suboptimaal, omdat dit de diversiteit van de trainingsdata drastisch vermindert (tot wel 29,4%), wat leidt tot een afweging waarbij divergentie wordt gewonnen ten koste van generalisatie.

Methodologie

Om de zero-delta-valkuil aan te pakken, stellen de auteurs een verschuiving voor van passieve datacuratie naar actieve prompt-synthese gedreven door het principe van Antwoorddivergentie ($\Delta$).

1. Definiëren van Antwoorddivergentie

In plaats van divergentie op sequentieniveau te meten (wat ruisgevoelig en computationeel onuitvoerbaar is vanwege variabele lengte-uitvoer), definiëren de auteurs Antwoorddivergentie over de discrete ruimte van definitieve antwoorden.

• Maatstaf: $\Delta(x) = D_{KL}(P_\theta(\cdot|x) \parallel P_T(\cdot|x))$, waarbij $P_\theta$ en $P_T$ de empirische antwoordverdelingen van respectievelijk de student en de teacher zijn.
• Schatting: De verdelingen worden benaderd door $K=16$ trajecten te samplen van beide modellen. Een LLM-judge (Qwen3-32B) groepeert semantisch equivalente antwoorden om oppervlakkige variaties te verwerken, wat een robuuste berekening van de divergentie mogelijk maakt, zelfs voor open-ended antwoorden.

2. De DELTAPROMPTS Synthesepijplijn

De auteurs stellen een gefaseerde synthesepijplijn voor die bestaande datasets hergebruikt als zaden in plaats van directe trainingsbronnen. De pijplijn bestaat uit drie fasen:

• Fase 1: Zaadgeleide Generatie: Bestaande beeld-promptparen worden gebruikt als few-shot voorbeelden om de teacher-model te prikkelen tot het genereren van nieuwe, moeilijkere problemen voor nieuwe afbeeldingen. Dit breidt de kandidatenpool uit.
• Fase 2: Vaardigheidsgeleide Generatie: Om expliciet te richten op faalmodi van de student, extraheert de pijplijn "vaardigheden" door teacher-trajecten (correct) te contrasteren met student-trajecten (incorrect) voor prompts met non-zero divergentie. Deze vaardigheden (bijv. "interpoleren van logaritmische schalen") worden vervolgens gebruikt om de datagenerator te conditioneren, waardoor deze prompts moet creëren die deze specifieke ontbrekende competenties vereisen.
• Fase 3: Zero-Delta Afwijzing: Alle gegenereerde prompts worden geëvalueerd op antwoorddivergentie. Prompts waarbij teacher en student het eens zijn (zero-delta) worden afgewezen. Alleen prompts met hoge teacher-consistentie en non-zero divergentie worden behouden.

Dit proces resulteert in DELTAPROMPTS, een dataset van 200k synthetische, hoog-divergente redeneringsproblemen die redeneren over diagrammen/documenten en redeneren op hoge resolutie met een perceptiecentrische focus bestrijken.

Belangrijkste Bijdragen

1. Identificatie van de Zero-Delta-valkuil: Het artikel toont empirisch aan dat standaard multimodale redeneringsdatasets gedomineerd worden door zero-delta prompts, wat leidt tot vroege verzadiging van de studentprestaties tijdens distillatie.
2. Antwoorddivergentie als Principiële Maatstaf: De auteurs introduceren antwoorddivergentie als een hanteerbare en kritieke maatstaf voor het kwantificeren van de competentiekloof tussen teacher en student, en tonen aan dat het een sterkere voorspeller is van distillatiesucces dan ruwe dataschaal of diversiteit alleen.
3. Een Tweefasige Synthesepijplijn: Een nieuwe methode voor het genereren van hoogwaardige trainingsdata die actief op zoek gaat naar faalmodi van de student via vaardigheidsgeleide generatie, in plaats van passief bestaande data te filteren.
4. DELTAPROMPTS Dataset: Een grote, diverse dataset van 200k prompts die specifiek is ontworpen om antwoorddivergentie te maximaliseren, en die bestaande mengsels overtreft op zowel divergentie- als diversiteitsmaatstaven.

Experimentele Resultaten

De auteurs evalueren DELTAPROMPTS in drie verschillende settings met de Qwen3-VL en GLM-4 modelfamilies:

• On-Policy Distillatie: Bij het distilleren van een student (Qwen3-VL-8B-Thinking) van een teacher (Qwen3-VL-235B-Thinking), levert DELTAPROMPTS tot 15% relatieve verbetering op over 10 benchmarks (waaronder ChartQA, InfoVQA en RealWorldQA), zelfs wanneer de basisstudent al een sterk geoptimaliseerd redenerend model is.
• Cross-Family Transfer: De dataset generaliseert naar een andere modelfamilie (GLM-4.1V-9B-Thinking) zonder de data opnieuw te genereren, simpelweg door opnieuw te filteren op non-zero divergentie voor het nieuwe paar.
• Off-Policy Fine-Tuning (SFT): Wanneer gebruikt voor standaard supervised fine-tuning op een niet-redenerend model (Qwen3-VL-8B-Instruct), presteert DELTAPROMPTS aanzienlijk beter dan SFT op bestaande datamengsels en toont het betere retentie op out-of-domain taken (Wiskunde, Logica, STEM) in vergelijking met standaard SFT.
• Ablatiestudies:
  • Divergentie vs. Diversiteit: Bij controle voor diversiteit blijft training op delta-prompts ($\Delta > 0$) de prestaties verbeteren naarmate de dataomvang toeneemt, terwijl zero-delta prompts ($\Delta = 0$) direct verzadigen.
  • Consistentiefiltering: Prompts waarbij de teacher inconsistent is (moeilijk op te lossen zelfs voor de teacher) verslechteren de prestaties, wat de noodzaak bevestigt van op consistentie gebaseerde filtering in de synthesepijplijn.

Betekenis en Claims

Het artikel claimt dat de centrale bottleneck in multimodale distillatie niet de aggregatie van meer prompts of trajecten is, maar de constructie van prompts waarbij teacher en student op zinvolle wijze het oneens zijn.

Door de focus te verschuiven van datahoeveelheid naar divergentiekwaliteit, tonen de auteurs aan dat gerichte prompt-synthese aanzienlijke winsten kan opleveren met aanzienlijk minder data in vergelijking met heuristische aggregatie van bestaande datasets. Het werk suggereert dat antwoorddivergentie een fundamentele eigenschap is voor effectieve schaling in distillatie, en een weg biedt om capabele compacte modellen efficiënter te trainen. De auteurs positioneren DELTAPROMPTS niet alleen als een dataset, maar als een proof-of-concept voor een meer principiële, data-gedreven aanpak van distillatie die actief de specifieke competentiekloven van het studentmodel aanpakt.