Beyond Fixed Directions: Adaptive Representation Analysis of Reasoning and Memorization in LLMs
Dit artikel toont aan dat hoewel redeneer- en geheugentaken in LLM's decodeerbaar zijn via één enkele representatierichting, deze richting niet vaststaat maar een substantiële geometrische reorganisatie ondergaat tijdens reinforcement learning, zelfs terwijl de onderliggende informatie toegankelijk blijft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie zijn grote taalmodellen in staat geworden om complexe puzzels op te lossen en enorme hoeveelheden informatie op te roepen. Wetenschappers vragen zich al lang af hoe deze digitale breinen eigenlijk werken. Een heersende idee suggereert dat specifieke gedragingen, zoals logisch redeneren of eenvoudige feitenretrieval, verbonden zijn aan duidelijke, vaste paden binnen het interne geheugen van het model. Stel je de geest van het model voor als een uitgestrekte, meerdimensionale ruimte waar elke gedachte een spoor achterlaat. Als dit idee waar is, dan zou het verschil tussen een model dat een wiskundig probleem doordenkt en een model dat simpelweg een feit herinnert, zichtbaar moeten zijn als een enkele, rechte lijn die in een specifieke richting wijst. Dit concept is zo aantrekkelijk dat sommige onderzoekers hebben geprobeerd deze vaste lijnen te gebruiken als gidsen om modellen te trainen om beter na te denken, uitgaande van de veronderstelling dat het pad dat ze vonden stabiel en betrouwbaar zou blijven.
Echter, een nieuwe studie daagt de aanname uit dat deze paden op hun plaats blijven. Onderzoekers hebben een nauwkeuriger kijk genomen naar een klein taalmodel, specifiek een versie bekend als Qwen3-0.6B, om te zien of dit idee van een vaste richting standhoudt wanneer het model door rigoureuze training wordt gehaald. Ze verzamelden een zorgvuldig gebalanceerde set van 400 voorbeelden, waarvan de helft logisch redeneren vereiste en de andere helft feitelijke herinnering. Door afleidingen zoals zinslengte of specifieke woordenschat weg te laten, verzekerden ze zich ervan dat elk verschil dat ze vonden werkelijk over het type denken ging. Hun eerste ontdekking was geruststellend: ze bevestigden dat, op elk enkel moment in de tijd, het verschil tussen redeneren en onthouden inderdaad zo duidelijk is dat een enkele lijn de twee groepen perfect kan scheiden. Sterker nog, deze eenvoudige lijn werkte net zo goed als een complexe, hoogdimensionale analyse die elke mogelijke hoek van de data bekijkte.
Het verhaal neemt een wending wanneer de onderzoekers het model trainden met een krachtige techniek genaamd group-relative policy optimization, een methode die ontworpen is om redeneervaardigheden te verbeteren. Ze verwachtten dat als het idee van de vaste richting waar zou zijn, de lijn die redeneren van geheugen scheidt, op dezelfde plaats zou blijven staan, zelfs terwijl het model leerde. In plaats daarvan ontdekten ze dat, hoewel het model het verschil tussen de twee taken nog steeds perfect kende, de werkelijke richting van die kennis drastisch was verschoven. Na de training was de lijn die voorheen duidelijk richting "redeneren" wees, zo veel gedraaid dat deze niet langer was uitgelijnd met de oorspronkelijke positie. Gemiddeld was de nieuwe richting slechts voor ongeveer 45 procent vergelijkbaar met de oude, en in de diepste lagen van het model was de verschuiving nog prominenter, waarbij de interne representatie met meer dan de helft driftte.
Deze bevinding onthult een cruciaal onderscheid tussen wat een model weet en hoe het die kennis opslaat. De informatie zelf verdween niet; het model kon nog steeds een wiskundig probleem van een trivia-vraag onderscheiden met perfecte nauwkeurigheid na de training. Maar de geometrische coördinaten die het gebruikte om dat onderscheid uit te drukken, waren volledig geherorganiseerd. Het is alsof een kaart van een stad nog steeds perfect aangeeft waar de bibliotheek is, maar de kompasrichtingen op de kaart zijn gedraaid zodat "noord" nu wijst waar "oost" eerst zat. De onderzoekers maten deze verschuiving door de interne staat van het model vóór en na de training te vergelijken, en vonden dat de verandering niet slechts een kleine aanpassing was, maar een substantiële reorganisatie van het interne landschap van het model.
De studie concludeert dat hoewel het vermogen om redeneren van geheugen te scheiden robuust is, het idee dat dit vermogen rust op een enkele, onveranderlijke richting onjuist is. De informatie blijft bestaan, maar het specifieke pad dat het door de geest van het model neemt is vloeiend en verandert met het leren. Dit suggereert dat voor toekomstige inspanningen om kunstmatige intelligentie te sturen met behulp van deze interne richtingen, wetenschappers niet simpelweg een pad kunnen vinden en vervolgens kunnen aannemen dat het geldig blijft. In plaats daarvan moeten ze accepteren dat de kaart zelf constant wordt hertekend, zelfs als de oriëntatiepunten op hun plaats blijven. De stabiliteit van de kennis garandeert niet de stabiliteit van het pad dat wordt gebruikt om er toegang toe te krijgen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.