Technische Samenvatting: Visuele Compositie-Aanpassing (COMPACT)

Probleemstelling

Visuele Instructie-Aanpassing (VIT) voor Multimodale Grootte Taalmodellen (MLLMs) heeft traditioneel vertrouwd op het schalen van de datasetgrootte om prestaties te verbeteren, waarbij vaak de informatiewaarde van individuele trainingsvoorbeelden wordt over het hoofd gezien. Hoewel recente werken hebben aangetoond dat kleinere, gecureerde subsets bijna volledige prestaties kunnen behalen, behandelen bestaande methoden voor dataselectie complexiteit grotendeels als een bijproduct van schaal in plaats van als een beheersbare metriek.

Huidige VIT-datasets, zoals LLaVA-665K, bevatten voornamelijk vragen die slechts één of twee fundamentele visuele vaardigheden vereisen (bijvoorbeeld: "Welke kleur is de auto?"). Deze voorbeelden maken vaak onvoldoende gebruik van de rijke visuele informatie die in afbeeldingen beschikbaar is, doordat ze meerdere vaardigheden (bijvoorbeeld objectherkenning, ruimtelijke relaties en kleurtoewijzing) niet combineren tot één complexe redeneertaak. Bijgevolg kunnen modellen moeite hebben met complexe visuele redeneertaken die de integratie van deze atomaire vaardigheden vereisen.

Methodologie: COMPACT

De auteurs stellen COMPACT (COMPositional Atomic-to-complex Visual Compositional Tuning) voor, een data-recept dat is ontworpen om de complexiteit van trainingsvoorbeelden te schalen door meerdere atomaire visuele vaardigheden binnen één enkel voorbeeld te combineren. De methodologie omvat een proces van vier stappen:

1. Definitie van Atomaire Vaardigheden: De auteurs definiëren een taxonomie van 10 "atomaire visuele vaardigheden" die essentieel zijn voor visueel redeneren, gecategoriseerd als:

   • Toewijzing: Kleur, Vorm.
   • Herkenning: Objectherkenning, Actieherkenning, Tekstherkenning, Tellen, Ruimtelijke Herkenning.
   • Relatie: Ruimtelijke Relatie, Objectinteractie, Begrip van het Gebeuren.
     Zij introduceren een $k$-waarde metriek, gedefinieerd als het aantal atomaire vaardigheden dat nodig is om een specifieke vraag te beantwoorden.

2. Stalen van Vaardigheden: Startend vanuit een willekeurige steekproef van afbeeldingen (bijvoorbeeld uit LLaVA-665K), selecteert het systeem uniform $k_{gen} \in \{1, 2, 3\}$ vaardigheden uit de vooraf gedefinieerde pool. De selectie geeft prioriteit aan vaardigheden die voor een specifieke afbeelding nog niet zijn geselecteerd om diversiteit te waarborgen.

3. Generatie van Conversaties: Met behulp van Gemini-2.0-Flash genereert het systeem conversatievragen en -antwoordenparen die op een natuurlijke manier alle geselecteerde vaardigheden integreren. De generatie is beperkt om te waarborgen dat:

   • Vragen visuele informatie uit de afbeelding vereisen (niet alleen door tekst te beantwoorden).
   • Antwoorden beknopt zijn.
   • Vaardigheden op een natuurlijke manier worden geïntegreerd (niet louter met "en" verbonden).
   • Vragen verwijzen naar objecten die daadwerkelijk in de afbeelding aanwezig zijn.

4. Kwaliteitsverificatie en Dataset Samenstelling: gegenereerde vragen ondergaan verificatie om niet-informatieve antwoorden, outputs met lage betrouwbaarheid, bijna-dubbelingen en gevallen waarin de vaardigheden niet succesvol zijn geïntegreerd, te filteren. De definitieve dataset wordt samengesteld door de synthetisch gegenereerde compositie-aanpassingsdata te mengen met een kleine subset (5%) van de originele LLaVA-665K-data. Deze mengeling zorgt ervoor dat het model instructievolgende vaardigheden behoudt, terwijl de compositiedata zich richt op visueel redeneren.

Belangrijkste Bijdragen

1. Complexiteitsbewuste Data-Curatie: Het artikel toont aan dat het verhogen van de complexiteit ($k$-waarde) van trainingsvoorbeelden een efficiënter gebruik van de informatie-inhoud binnen een dataset mogelijk maakt, waarmee de beperkingen van conventionele, complexiteitsongevoelige schaling worden aangepakt.
2. Meetbare Complexiteitsmetriek: De auteurs definiëren de $k$-waarde om de complexiteit van visie-taaltaken te kwantificeren en analyseren de optimale verdeling van complexiteit voor maximale efficiëntie.
3. Efficiënt Data-Recept: COMPACT biedt een schaalbaar recept voor het genereren van synthetische data dat de benodigde databegroting voor effectieve VIT aanzienlijk verlaagt.

Experimentele Resultaten

De auteurs hebben COMPACT geëvalueerd op het LLaVA-v1.5-7B-model met behulp van acht multimodale benchmarks (waaronder MM-Vet, MMStar, InfoVQA en SeedBench2Plus).

• Data-efficiëntie: Training op een dataset die slechts 10% van het volume van LLaVA-665K omvat (specifiek 32K compositie-voorbeelden + 5% van LLaVA-665K voor opmaak), bereikte 100,2% van de volledige LLaVA-665K-prestaties over de benchmarks.
• Superioriteit bij Complexe Taken: COMPACT presteerde beter dan de volledige schaal LLaVA-665K-training op bijzonder complexe benchmarks:
  • MM-Vet: +8,6% verbetering (31,7 versus 29,2).
  • MMStar: +2,9% verbetering (36,1 versus 35,1).
  • InfoVQA: +13,8% verbetering.
• Vergelijking met Baselines: COMPACT presteerde aanzienlijk beter dan willekeurige subsets en andere methoden voor datareductie (bijvoorbeeld ICONS, EL2N, Perplexity), die met vergelijkbare datavolumes slechts ongeveer 95-97% relatieve prestaties behaalden.
• Analyse van Complexiteitsverdeling: De LLaVA-665K-dataset heeft een gemiddelde $k$-waarde van ongeveer 1,95, waarbij 77% van de vragen $k \le 2$ vereist. Daarentegen heeft de COMPACT-dataset een gemiddelde $k$-waarde van ongeveer 2,89. Ablatiestudies bevestigden dat ten minste de helft van de prestatiewinst toe te schrijven is aan deze hogere complexiteitsverdeling.

Betekenis en Claims

Het artikel stelt dat visuele compositie-aanpassing een schaalbare en efficiënte weg biedt voor het verbeteren van MLLMs op visie-taaltaken. Door tijdens het genereren van voorbeelden expliciet te richten op hogere $k$-waarden, stelt COMPACT modellen in staat om uit meer visuele kenmerken in elke afbeelding te leren, wat leidt tot superieure prestaties bij complexe redeneertaken met een fractie van de databegroting.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van gesloten bronmodellen (Gemini) voor datageneratie, wat potentiële biases en kostenbarrières voor reproduceerbaarheid introduceert. Bovendien richt de aanpak zich op visie-gerichte vaardigheden en is deze mogelijk niet optimaal voor kennisintensieve taken die externe wereldkennis vereisen. Voor toekomstig werk wordt voorgesteld om de intersectie van afbeeldings- en tekstcomplexiteit te verkennen en de toepassing van deze principes op verschillende leeralgoritmen.