DataProphet: Demystifying Supervision Data Generalization in Multimodal LLMs

1. Probleemstelling

Traditionele wijsheid bij het selecteren van supervisie-data voor Multimodale Large Language Models (MLLMs) is om datasets te prioriteren die intuïtief lijken op de doeltaak (bijv. tekstrijke data voor tekstrijke taken). Echter, het is onduidelijk of deze intuïtieve gelijkenis betrouwbaar voorspelt hoe goed het model zal presteren op testbenchmarks na training.

De kernvraag van dit onderzoek is: Kan men de invloed van een trainingsdataset op een specifieke doelbenchmark voorspellen voordat er überhaupt enige training heeft plaatsgevonden?

De auteurs stellen vast dat intuïtieve gelijkenis vaak misleidend is. Bijvoorbeeld, training op OCR-data (tekstextractie uit afbeeldingen) verbetert volgens de intuïtie de prestaties op diagram-taken meer dan op ruimtelijke redeneertaken. De experimenten tonen echter het tegenovergestelde aan: OCR-training verbetert ruimtelijke redeneertaken juist meer dan diagram-taken.

2. Methodologie

Data Invlueence Analyse

De auteurs voeren een uitgebreide analyse uit met 14 vision-language datasets die 7 diverse taken bestrijken (OCR, diagrambegrip, ruimtelijk redeneren, tellen, kennisgebaseerde QA, documentbegrip en kaartbegrip).

• Basismodel: InternVL3-2B.
• Proces: Supervised Fine-Tuning (SFT) wordt uitgevoerd met elke brondataset individueel (20k voorbeelden) en geëvalueerd op alle 14 doelsets (1k voorbeelden).
• Meting: De invloed wordt gemeten via de relatieve prestatieverbetering ($\Delta_{s \to t}$) ten opzichte van het basismodel.
• Vinding: De invloed is niet symmetrisch en wordt niet bepaald door de algemene taakcategorie, maar door de specifieke dataset. Datasets binnen dezelfde categorie helpen elkaar niet per se het meest.

De DATAPROPHET Metric

Om de invloed te voorspellen zonder training, introduceren de auteurs DATAPROPHET, een trainingsvrije (training-free) metric. Deze metric combineert drie hoofdfactoren in een productvorm:

1. Multimodale Perplexiteit (PPL):

   • Meet de intrinsieke moeilijkheidsgraad van de brondata ten opzichte van het basismodel.
   • Definitie: $PPL(D) = \exp(-E[\log p_\theta(a_t | I, \tau_Q(Q), a_{<t})])$.
   • Aanneming: Uitdagendere brondata biedt meer waarde voor het verbeteren van modelcapaciteiten.

2. Cross-dataset Similariteit:

   • Meet de uitlijning tussen bron- en doeldata in de embedding-ruimte van het basismodel.
   • Bestaat uit drie componenten:
     • $QSim$: Similariteit van vragen.
     • $ASim$: Similariteit van antwoorden.
     • $ISim$: Similariteit van afbeeldingen.
   • Berekening: Verwachte cosinus-similariteit tussen embeddings van onafhankelijk getrokken items uit de bron- en doelsets.

3. Data Diversiteit (Silhouette & Entropie):

   • Meet de diversiteit van de vragen in de brondataset om generaliseerbare vaardigheden te stimuleren.
   • Berekening: K-means clustering van vraag-embeddings ($K=10$) gevolgd door de Silhouette-coëfficiënt ($Sil$) en genormaliseerde entropie ($H$) voor clusterbalans.

De Formule:
De DATAPROPHET-score $M(s \to t)$ wordt berekend als:
$$M(s \to t) = QSim \cdot ASim \cdot ISim \cdot PPL(s) \cdot \frac{(Sil + H)}{PPL(t)}$$
Deze formule straalt uit dat succesvolle overdracht gelijktijdige uitlijning vereist in tekst, visie, moeilijkheidsgraad en vraagdekking.

3. Belangrijkste Resultaten

Voorspellende Kracht

• Kendall's $\tau$ correlatie: Er is een sterke correlatie van 86,0% tussen de rangschikking van datasets gebaseerd op DATAPROPHET en de werkelijke prestatieverbetering na training.
• Componentanalyse: Het verwijderen van de perplexiteit-component zorgt voor de grootste daling in correlatie (van 0,863 naar 0,487), wat aantoont dat het modelleren van de "headroom" van het bronmodel en de moeilijkheid van de doeltaak cruciaal is. Visuele similariteit en diversiteit zijn ook essentieel.

Data Selectie Experimenten

De auteurs testen DATAPROPHET voor het selecteren van instructie-tuning data onder een vast rekenbudget (280k voorbeelden):

1. Real Data Reweighting:

   • DATAPROPHET presteert 3,4% beter dan uniforme selectie.
   • Het presteert 1,4% beter dan ICONS (een state-of-the-art methode die training vereist).
   • Het bereikt bijna de prestaties van de "Oracle" (gebaseerd op echte experimentresultaten), en is zelfs 0,2% hoger dan de Oracle-selectie in sommige gevallen.

2. Synthetische Data Selectie:

   • Gebruikmakend van een pool van synthetische data gegenereerd door GPT-5 en Gemini 2.5 Pro.
   • DATAPROPHET leidt tot een 6,9% verbetering ten opzichte van uniforme selectie.
   • Het presteert 1,2% beter dan ICONS.
   • Observatie: Gemini 2.5 Pro produceerde kwalitatief betere synthetische data (62% van de geselecteerde items) dan GPT-5, wat werd gedetecteerd door de DATAPROPHET-metric.

3. RL Post-training:

   • DATAPROPHET verbeterde ook de data-selectie voor Reinforcement Learning (RL) post-training, met gemiddelde scoreverbeteringen van +3,8% (real data) en +2,0% (synthetische data) ten opzichte van baselines.

4. Bijdragen

1. Empirische Inzicht: Het paper weerlegt de intuïtie dat taakgelijkheid de belangrijkste factor is voor generalisatie. Het toont aan dat data-invloed dataset-specifiek is en niet taak-specifiek.
2. DATAPROPHET Metric: Een eenvoudige, interpreteerbare en trainingsvrije metric die multimodaliteit, perplexiteit en diversiteit combineert om data-invloed te voorspellen.
3. Efficiëntie: De methode elimineert de noodzaak voor dure proxy-trainingen of gradient-based berekeningen (zoals bij ICONS) om de beste data te selecteren.
4. Prestatie: Het overtreft bestaande state-of-the-art methoden (zoals ICONS) en benadert of overtreft zelfs Oracle-baselines, zowel voor real-world als synthetische data.

5. Betekenis

Deze studie biedt een fundamenteel nieuw perspectief op data-curatie voor MLLMs. Het bewijst dat men zonder enige training kan voorspellen welke datasets het meest waardevol zullen zijn voor een specifieke doelstelling. Dit maakt het mogelijk om trainingspipelines aanzienlijk te versnellen en te optimaliseren, vooral in scenario's met beperkte rekenkracht of wanneer het werken met grote pools van synthetische data. DATAPROPHET fungeert als een principieel signaal voor het selecteren van supervisie-data, wat leidt tot efficiëntere en effectievere training van multimodale modellen.