Technische Samenvatting: Leren Denken (VISTA)

Probleemstelling

Nabewerken van Multimodale Grootte Taalmodellen (MLLMs) met expliciete redeneersporen (Chain-of-Thought) heeft zich bewezen als effectief voor het verbeteren van redeneercapaciteiten. Het verwerven van hoogwaardige redeneersporen is echter kostbaar en tijdrovend, wat heeft geleid tot de adoptie van zelfverbeteringsparadigma's waarbij modellen hun eigen trainingsdata genereren. Ondanks hun effectiviteit identificeren de auteurs twee kritieke tekortkomingen in de huidige zelfverbeteringstraining van MLLMs:

1. Data-ongelijkheid: Eenvoudige queries leveren talrijke correcte redeneersporen op, terwijl uitdagende maar cruciale queries vaak falen in het produceren van voldoende correcte oplossingen. Standaard zelfverbeteringsmethoden verwerpen mislukte pogingen volledig, waardoor potentieel bruikbare gedeeltelijke informatie verloren gaat.
2. Taal-prior bias: MLLMs neigen om te veel te vertrouwen op linguïstische priors terwijl ze visuele aanwijzingen verwaarlozen. Dit leidt tot visuele hallucinaties (bijvoorbeeld het beschrijven van niet-bestaande objecten of tegenstrijdige redeneerketens) die resulteren in correcte eindantwoorden, maar gebrekkige tussenstappen in het redeneren. Huidige filtermethoden die uitsluitend gebaseerd zijn op de juistheid van het antwoord, kunnen deze gehallucineerde oplossingen niet detecteren.

Methodologie: VISTA Framework

Om deze problemen aan te pakken, stellen de auteurs VISTA (VIsion-aware Self-improvement Training) voor, een framework dat bestaat uit twee nieuwe strategieën:

1. Prefix Resampling Strategie

Ontworpen om data-ongelijkheid te verminderen door gedeeltelijke informatie van mislukte oplossingen opnieuw te gebruiken:

• Mechanisme: In plaats van onjuiste oplossingen ($D_n$) te verwerpen, identificeert de methode "kritieke tokens" waar het redeneertraject afwijkt. Het maakt gebruik van het zelfkalibratievermogen van het model door de volgorde van visuele en instructietokens in de invoer te verwisselen (bijvoorbeeld van "Afbeelding + Instructie" naar "Instructie + Afbeelding") en de tokenvoorspellingen opnieuw te genereren.
• Uitvoering: Het eerste token in de oorspronkelijke mislukte trace dat niet overeenkomt met de Top-5 voorspellingen van de verstoorde context, wordt geïdentificeerd als het kritieke token. De redeneertrace wordt op dit punt afgekapt en het geldige voorvoegsel wordt hergebruikt als context om nieuwe oplossingen te resamplen ($J$ keer).
• Resultaat: Dit verzamelt efficiënter meer correcte oplossingen voor moeilijke queries door de correcte initiële redeneerstappen van mislukte pogingen te redden.

2. Vision-Aware Attention Score (VAS)

Ontworpen om taal-prior bias te verminderen en gehallucineerde oplossingen te filteren:

• Mechanisme: De methode kwantificeert de focus van het model op visuele informatie tijdens het redeneren door interne attentiescores van een tussenlaag van het model te analyseren.
• Berekening: Voor een correcte oplossing wordt de attentieverdeling ($\lambda$) gemeten voor systeemtokens, visuele tokens en instructietokens. De VAS wordt berekend als de genormaliseerde proportie van attentie toegewezen aan visuele tokens ten opzichte van de totale attentie over alle contexten.
• Filtering: Oplossingen met VAS-scores onder een specifieke drempel ($\tau$) worden gefilterd. Dit zorgt ervoor dat de trainingsdataset prioriteit geeft aan oplossingen waarbij het model werkelijk aandacht besteedt aan visuele aanwijzingen, waardoor het risico op het trainen op gehallucineerd redeneren dat toevallig het juiste antwoord oplevert, wordt verminderd.

Het framework integreert deze strategieën in standaard nabewerkingspijplijnen, waaronder Supervised Fine-Tuning (SFT) en Preference Learning (DPO/GRPO).

Belangrijkste Bijdragen

1. Probleemidentificatie: Het artikel toont empirisch aan dat zelfverbetering van MLLMs lijdt aan data-ongelijkheid (ondertraining op moeilijke queries) en taal-prior bias (visuele hallucinaties die worden gemaskeerd door correcte antwoorden).
2. VISTA Framework: Stelt een zelfverbeteringsframework voor dat geen externe supervisie of ground-truth redeneersporen vereist. Het maakt gebruik van Prefix Resampling om de data-efficiëntie voor moeilijke queries te maximaliseren en VAS om de datakwaliteit te waarborgen door visuele hallucinaties te filteren.
3. Generaliseerbaarheid: Toont aan dat deze strategieën modelonafhankelijk zijn en toepasbaar op diverse MLLMs (bijvoorbeeld Qwen2.5-VL, InternVL) en nabewerkingsparadigma's (SFT, DPO, GRPO).

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op vijf MLLMs over vijf multimodale redeneringsbenchmarks (SLAKE, VQA-Rad, Geometry3K, ScienceQA, ChartQA).

• Prestatiewinst: VISTA presteert significant beter dan baseline zelfverbeteringsmethoden (bijvoorbeeld STaR, ReSTEM, R3V). Voor het Qwen2.5-VL-3B-Instruct-model behaalde VISTA een gemiddelde prestatiewinst van +13,66% ten opzichte van het initiële seed-model.
• Robuustheid: De methode voorkomt effectief "model collapse" (prestatiedegradatie door overfitting op eenvoudige data) zoals waargenomen bij andere iteratieve zelftrainingsmethoden, met name op moeilijke taken zoals Geometry3K.
• Reductie van Hallucinaties: Modellen getraind met VISTA vertonen minder visuele hallucinaties op de IllusionBench-benchmark in vergelijking met baselines.
• Generalisatie buiten de verdeling (OOD): Met VISTA getrainde modellen tonen verbeterde generalisatie op OOD-datasets (PathVQA, MathVista, MMMU), terwijl baselinemethoden vaak last hebben van prestatieverminderingen naarmate de trainingsiteraties toenemen.
• Compatibiliteit: De aanpak is compatibel met inferentiemethoden zoals Self-Consistency, wat leidt tot verdere prestatieverbeteringen wanneer deze worden gecombineerd.

Betekenis en Claims

Het artikel claimt dat VISTA een eenvoudige maar effectieve oplossing biedt voor de beperkingen van huidige zelfverbeteringstraining in MLLMs. Door verder te gaan dan antwoordjuistheid als enig kwaliteits-signaal, zorgt VISTA voor de diversiteit en betrouwbaarheid van zelftrainingsdata. De auteurs benadrukken dat hun methode:

• De interne redeneercapaciteiten van MLLMs ontsluit zonder dure externe redeneersporen te vereisen.
• Rechtstreeks de oorzaken van visuele hallucinaties in redeneersporen aanpakt.
• Een schaalbare weg biedt voor het verbeteren van multimodaal redeneren over verschillende modelgroottes en taken, met state-of-the-art resultaten onder zelfverbeteringsbaselines.

De auteurs merken beperkingen op, waaronder potentiële restricties op trajectdiversiteit als kritieke tokens laat in de redeneerketen verschijnen, en de huidige evaluatie op relatief kleine modellen (3B-8B), waardoor validatie op grotere schaal wordt overgelaten aan toekomstig werk.