Boosting Reasoning in Large Multimodal Models via Activation Replay
Dit artikel stelt "Activation Replay" voor, een methode die geen training vereist en de redeneercapaciteiten van met Reinforcement Learning with Verifiable Rewards (RLVR) getrainde Large Multimodal Models verbetert door visuele tokens te manipuleren om activaties met een lage entropie van basismodellen te herhalen, waardoor de prestaties over diverse taken worden verbeterd zonder dat dure beleidsoptimalisatie nodig is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie is een nieuwe generatie computersystemen opgekomen die de wereld kunnen zien en begrijpen zoals mensen dat doen. Deze grote multimodale modellen kunnen naar een foto kijken, een video bekijken of een diagram lezen en vervolgens vragen beantwoorden of problemen oplossen op basis van wat ze zien. Jarenlang hebben onderzoekers geprobeerd deze systemen om dieper na te denken, waarbij ze verder gaan dan eenvoudige patroonherkenning naar echt redeneren. Een populaire methode hiervoor omvat een trainingsmethode waarbij de computer alleen wordt beloond wanneer hij kan bewijzen dat zijn antwoord correct is via een lange, stapsgewijze uitleg. Deze aanpak heeft deze modellen er succesvol toe aangemoedigd om even stil te staan en na te denken voordat ze spreken, wat heeft geleid tot indrukwekkende resultaten in wiskunde en logische puzzels. Hoewel de resultaten zichtbaar zijn, blijven de interne mechanismen van hoe deze training het brein van het model verandert een mysterie. Wetenschappers hebben nog niet volledig begrepen hoe de training de manier waarop het model informatie verwerkt verandert, met name wanneer het voor het eerst naar een afbeelding kijkt.
Een team van onderzoekers zette zich schare om deze verborgen veranderingen te ontdekken door in de verwerkingslagen van het model te kijken terwijl het problemen oploste. Ze ontdekten dat de trainingsmethode, hoewel effectief, de interne focus van het model op een specifieke en onverwachte manier onbedoeld verschuift. Wanneer het model wordt getraind om zijn eigen antwoorden te verifiëren, worden de onderdelen van het interne systeem die normaal gesproken zeer zelfverzekerd en helder zijn, lichtelijk verward of aangetast. In contrast hiermee blijven de onderdelen van het systeem die van nature onzeker zijn of verschillende mogelijkheden verkennen, grotendeels onaangetast. De onderzoekers ontdekten dat deze specifieke verschuiving in de zelfverzekerde delen van het model het vermogen om correct te redeneren feitelijk belemmerde. Het was alsof de training per ongeluk de meest betrouwbare signalen die het model gebruikte om de visuele wereld te begrijpen, had verstoord, waardoor het gedwongen werd om minder zekere paden te volgen om tot een conclusie te komen.
Om dit op te lossen, ontwikkelde het team een eenvoudige, nieuwe methode genaamd Activation Replay. In plaats van het hele model opnieuw te trainen, wat ongelooflijk duur en tijdrovend zou zijn, vonden ze een manier om het model op het moment dat het een probleem oplost, zachtjes terug te duwen naar zijn oorspronkelijke, helderdere staat. Wanneer het model wordt gepresenteerd met een afbeelding, passen de onderzoekers de interne signalen die van de visuele delen van het systeem komen tijdelijk aan. Dit doen ze door de heldere, zelfverzekerde signalen van de originele, ongetrainde versie van het model te lenen en deze in de getrainde versie af te spelen. Dit proces werkt als een correctiemechanisme, dat ervoor zorgt dat het initiële begrip van het model van de afbeelding scherp en betrouwbaar blijft voordat het begint aan zijn lange keten van redeneringen. De onderzoekers testten deze aanpak op diverse complexe taken, waaronder het oplossen van meetkundige problemen, het navigeren door hoogresolutiebeelden om specifieke objecten te vinden, en het redeneren door sequenties van gebeurtenissen in video's.
De resultaten toonden aan dat deze eenvoudige aanpassing consistent de prestaties van het model verbeterde in al deze verschillende scenario's. Door de helderheid van de initiële visuele signalen te herstellen, was het model in staat problemen op te lossen die het eerder had gemist en fouten in zijn stapsgewijze logica te vermijden. In één specifieke test met een wiskundig probleem over een draad die in een cirkel en vervolgens in een trapeze is gevormd, maakte het getrainde model aanvankelijk een fout in zijn tussenliggende stappen, wat leidde tot een foutief antwoord. Met de nieuwe methode corrigeerde het model zijn interne redeneerpad en kwam het tot de juiste oplossing. De onderzoekers ontdekten ook dat deze aanpak het model hielp om een grotere variëteit aan correcte antwoorden te genereren wanneer het meerdere pogingen kreeg, wat suggereert dat het niet alleen een enkel pad uit het hoofd leerde, maar het probleem echt beter begreep. Dit werk suggereert dat de sleutel tot beter redeneren in deze geavanceerde systemen misschien niet altijd complexere training is, maar eerder het behoud van de helderheid van de initiële perceptie van het model van de wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.