Technische Samenvatting: Once-For-All (OFA)-kader voor multimodale instructie-aanpassing

1. Probleemstelling

Multimodale instructie-aanpassing is het standaardparadigma geworden voor het aanpassen van Vision-Language Models (VLM's) aan downstream-taken. Grote instructiedatasets (bijv. LLaVA-665K, Vision-Flan) zijn echter vaak massaal, redundant en bevatten af en toe foutief geannoteerde steekproeven. Hoewel er methoden voor dataselectie bestaan om de trainings-efficiëntie te verbeteren, lijden huidige benaderingen aan twee kritieke beperkingen:

1. Berekeningskosten: Op gradiënten gebaseerde methoden vereisen per-steekproef gradiëntberekening over de volledige kandidaatpool, wat onaanvaardbaar duur is.
2. Gebrek aan herbruikbaarheid: Op scores gebaseerde en complexiteit-gedreven methoden zijn nauw verweven met het specifieke doelmodel of de dataset die tijdens het genereren van signalen werd gebruikt. Bijgevolg moeten bij elke wijziging in de modelarchitectuur van het doelmodel of de kandidaatdataset de selectiecriteria opnieuw vanaf nul worden berekend, vaak tegen kosten die vergelijkbaar zijn met de training zelf.

Dit creëert een knelpunt waarbij dataselectie onpraktisch is in dynamische real-world omgevingen waar datasets en modellen frequent veranderen.

2. Methodologie: Het Once-For-All (OFA)-kader

OFA stelt een "één keer trainen, op elk moment selecteren"-kader voor dat het proces van dataselectie ontkoppelt van het doelvLM. De kerninzicht is dat een herbruikbare selector kan worden getraind op een bevroren representatieruimte om informatieve steekproeven te identificeren op basis van hun inherente moeilijkheidsgraad of ambiguïteit, onafhankelijk van het model dat wordt fijngefineerd.

Het kader werkt in drie hoofdfasen:

A. Multimodale Representatie en Clustering

• Bevroren Encoding: Alle beeld-instructieparen worden gecodeerd met een bevroren CLIP-model (ViT-B/32). Het beeld en de tekst worden afzonderlijk gecodeerd en geconcateneerd om een gezamenlijke multimodale feature-vector te vormen, die vervolgens $\ell_2$-genormaliseerd wordt.
• Clustering: K-Means-clustering wordt toegepast op deze bevroren features om de data te partitioneren in $K$ semantische clusters. Dit blootlegt de onderliggende semantische structuur van de dataset zonder enige doelvLM te betrekken.

B. Cluster-gebaseerde Pseudo-labeling en Selector-training

• Opbouw van de Core Set: Een "core set" ($D_{core}$) wordt gevormd door steekproeven te selecteren binnen een specifieke straal ($\gamma$) van hun clustercentroïden. Deze steekproeven krijgen pseudo-labels toegewezen die overeenkomen met hun clusterindices.
• Lichtgewicht Selector: Een lichtgewicht neurale netwerk (de selector) wordt getraind op $D_{core}$ om de cluster-pseudo-labels te voorspellen. Cruciaal wordt deze selector slechts voor een paar epochs (bijv. 3) getraind en bewust vroegtijdig gestopt voordat convergentie wordt bereikt.
• Het Signaal: De auteurs hypothetiseren dat een gedeeltelijk getrainde selector snel zekerheid zal krijgen over "typische" (redundante/makkelijke) steekproeven, maar onzeker blijft over "atypische" (informatieve/moeilijke) steekproeven.

C. Selectie op Basis van Lage Zekerheid

• Scorebepaling: De getrainde selector wordt bevroren en toegepast op de volledige kandidaatdataset. Voor elke steekproef geeft de selector een zekerheidsscore af, gedefinieerd als de maximale klassenwaarschijnlijkheid ($F(x_i) = \max_c p_{i,c}$).
• Filtering: Steekproeven met lage zekerheid (onder een per-cluster drempel $\tau_k$) worden behouden als de informatieve subset, terwijl hoge-zekerheid (redundante) steekproeven worden verworpen.
• Transferabiliteit: Omdat de selector uitsluitend vertrouwt op de bevroren CLIP-representatie en niet op de gradiënten of parameters van het doelvLM, kan dezelfde bevroren selector worden toegepast op:
  1. Ongeziene Datasets: Datasets die niet aanwezig waren tijdens de training van de selector.
  2. Ongeziene Architecturen: Doelmodellen met verschillende schalen en architecturen.

3. Belangrijkste Bijdragen

1. OFA-kader: Een kader voor dataselectie dat een herbruikbare selector één keer traint op een bevroren representatieruimte, waardoor herberekening overbodig wordt wanneer datasets of doelmodellen veranderen.
2. Transferabel Signaal: Identificatie van lage zekerheid van de selector op bevroren CLIP-representaties als een generaliseerbaar signaal voor de informativiteit van steekproeven. Dit signaal hangt uitsluitend af van de data-distributie, niet van het doelmodel.
3. Empirische Validatie: Aantonen dat een enkele geselecteerde subset, afgeleid van één dataset (LLaVA-665K), effectief zowel de bron-dataset als ongeziene datasets (Vision-Flan-186K) en verschillende architecturen (Qwen2.5-VL-3B, LLaVA-v1.5-7B) fijngefineerd zonder herselectie.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op LLaVA-665K en Vision-Flan-186K, waarbij VLM's werden fijngefineerd op 15% van de data in vergelijking met full-data baselines.

• Prestaties op Bron-dataset (LLaVA-665K):

  • OFA behaalde 98,3% van de full-data prestaties over 10 benchmarks, en presteerde beter dan state-of-the-art baselines zoals PreSel, CoIDO en XMAS.
  • Opmerkelijk is dat OFA het full-data model overtrof op hallucinatie-benchmarks (POPE: 87,5 vs. 86,4), wat suggereert dat de geselecteerde lage-zekerheidsteekproeven hallucinaties effectief onderdrukken.

• Cross-Dataset Transfer (Vision-Flan-186K):

  • Een selector die uitsluitend op LLaVA-665K was getraind, werd direct toegepast op Vision-Flan-186K zonder hertraining.
  • OFA behaalde 110,6% relatieve prestatie in vergelijking met full-data training op Vision-Flan, en overtrof alle baselines en het full-data model zelf. Dit wijst op de aanwezigheid van aanzienlijke ruis/redundantie in Vision-Flan die OFA succesvol filterde.

• Cross-Architectuur Transfer:

  • Een subset geselecteerd uit LLaVA-665K werd gebruikt om Qwen2.5-VL-3B fijn te fineeren, een structureel verschillend model.
  • OFA behaalde 102,1% relatieve prestatie, en overtrof zowel willekeurige selectie als full-data training voor deze architectuur.

• Efficiëntie:

  • OFA verlaagde de totale berekeningskosten aanzienlijk. Waar volledige fijnafstelling 76,0 GPU-uren vereiste, vereiste OFA (inclusief selectie en fijnafstelling) slechts 20,0 GPU-uren.
  • Het selectieproces zelf duurde slechts 9,0 GPU-uren, aanzienlijk sneller dan methoden zoals Self-Filter (73,5 GPU-uren) en COINCIDE (55,5 GPU-uren).

5. Betekenis en Claims

Het artikel beweert dat OFA een fundamentele praktische beperking in multimodale instructie-aanpassing aanpakt: de niet-herbruikbaarheid van huidige dataselectiesignalen. Door het selectieproces te ontkoppelen van het doelmodel, biedt OFA een enkele, herbruikbare oplossing die effectief is over diverse datasets en modelarchitecturen.

De auteurs benadrukken dat het "lage-zekerheid"-signaal, afgeleid van een bewust ondergetrainde selector op bevroren CLIP-features, generaliseert naar data-distributies en architecturen die nooit tijdens de training zijn gezien. Deze "Once-For-All"-benadering transformeert dataselectie van een kostbare, per-taak berekening naar een eenmalige investering, waardoor efficiënte en robuuste training van VLM's mogelijk wordt in omgevingen met beperkte middelen of dynamische omstandigheden.