A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers

Moderne kunstmatige intelligentie die schrijft, vertaalt en redeneert, vertrouwt op een specifiek architecturaal ontwerp dat bekend staat als de transformer. In het hart van dit ontwerp liggen diepe stapels verwerkingslagen, waarbij elke laag de informatie die het van de vorige ontvangt, verder verfijnt. Om te voorkomen dat deze diepe netwerken tijdens het trainen uit elkaar vallen, gebruiken ingenieurs "skip connections" (overslagverbindingen). Stel je een rivier voor die door een reeks watervallen stroomt; de skip connection is als een bypasskanaal dat water mogelijk maakt om om een waterval heen te stromen en stroomafwaarts weer bij de beek te komen. Dit zorgt ervoor dat het signaal nooit verloren gaat of verdund wordt, ongeacht hoeveel lagen de data moet passeren. Jarenlang was de standaardpraktijk om deze bypasses na elke afzonderlijke verwerkingsstap op te nemen. Maar een recente onderzoek stelde een eenvoudige, structurele vraag: wat gebeurt er als we slechts één van deze bypasses verwijderen? Faalt het systeem volledig, of vindt het een manier om zich aan te passen?

Een onderzoeker genaamd Pratik Kumar Babariya zette zich in om dit te beantwoorden door modellen voor kunstmatige intelligentie te bouwen en systematisch deze veiligheidsnetten te verwijderen. Hij testte twee specifieke scenario's: één waarbij de bypass na het aandachtmechanisme (attention mechanism) werd verwijderd, en een andere waarbij de bypass na het feed-forward netwerk werd verwijderd. Het aandachtmechanisme is het deel van het model dat bepaalt welke woorden in een zin het meest relevant zijn voor elkaar, terwijl het feed-forward netwerk het deel is dat die informatie verwerkt en transformeert. Het doel was om te zien of het model zou overleven zonder deze specifieke afkortingen, of dat de verwijdering de gehele leerprocedure zou doen instorten.

De initiële experimenten, uitgevoerd op kleinere modellen, suggereerden een sombere uitkomst. Wanneer de onderzoeker een van de twee bypasses verwijderde, slaagden de modellen er niet in te leren, waardoor ze op hetzelfde slechte prestatieniveau bleven steken als een model dat helemaal geen bypasses had. Het leek erop dat beide shortcuts even essentieel waren. Deze vroege resultaten waren echter waarschijnlijk een trucje van de meetinstrumenten. De onderzoeker realiseerde zich dat de manier waarop hij de modellen evalueerde, willekeurige ruis introduceerde, waardoor het onmogelijk was om subtiele verschillen in prestaties waar te nemen. Hij herbouwde het experiment met een striktere opzet, waarbij hij vaste data voor het testen gebruikte en ervoor zorgde dat elke variabele gecontroleerd werd.

Toen het experiment opnieuw werd uitgevoerd met deze schonere methode, ontstond er een opvallende asymmetrie. Het verwijderen van de bypass na het feed-forward netwerk zorgde ervoor dat het model volledig faalde, precies zoals de eerste tests hadden aangegeven. Het model kon niet leren en de prestaties bleven steken op een hoge foutmarge. Maar toen de bypass na het aandachtmechanisme werd verwijderd, deed het model iets onverwachts: het leerde. Het presteerde niet zo goed als een model met al zijn shortcuts intact, maar het leerde succesvol taal te verwerken en bereikte een prestatieniveau dat veel beter was dan dat van het gefaalde model. Dit resultaat was geen toevalstreffer; de onderzoeker draaide de succesvolle configuratie acht keer met verschillende willekeurige startpunten, en in elk geval leerde het model effectief. Het falen van de andere configuratie was even consistent en gebeurde elke keer dat deze werd getest.

De onderzoeker onderzocht vervolgens waarom dit verschil bestond. Hij observeerde dat in de falende modellen de informatiestroom van de onderste lagen naar de bovenste lagen volledig was gestopt, een fenomeen dat bekend staat als "gradient starvation" (gradiëntverhongering). Dit gebeurde in beide falende gevallen. Echter, in het model dat slaagde, leek het aandachtmechanisme een workaround te vinden. Omdat het aandachtmechanisme alle woorden in een zin gelijktijdig bekijkt, kan het leren om informatie over verschillende posities heen te routeren, waardoor het effectief een pad reconstrueert voor de data om te stromen, zelfs zonder de fysieke shortcut. Het feed-forward netwerk daarentegen verwerkt elk woord in isolatie en kan niet dergelijke kruisverbindingen creëren. Zonder zijn bypass heeft het geen manier om de verloren gegane informatie te herstellen.

Het verhaal eindigt niet met een perfect opgelost mysterie. Wanneer de onderzoeker het experiment opschaalde naar een veel groter model, werden de resultaten minder duidelijk. Terwijl het model dat de feed-forward bypass verwijderde nog steeds faalde, vertoonde het model dat de aandacht bypass verwijderde tekenen van leren, maar de prestaties varieerden sterk afhankelijk van de willekeurige startcondities. In sommige runs leerde het goed; in andere worstelde het. Dit suggereert dat hoewel het vermogen tot aanpassing echt is, het moeilijker wordt om dit te handhaven naarmate het model groter en complexer wordt. De onderzoeker ontdekte ook een significante methodologische fout in zijn eigen vroege werk: hij had geprobeerd de falende modellen te repareren door een multiplier tijdens het trainingsproces aan te passen, waardoor ze succesvol leken. Hij realiseerde zich later dat het trainingsalgoritme automatisch voor deze verandering had gecompenseerd, waardoor de aanpassing een illusie was. Door deze fout te corrigeren en de mislukking transparant te rapporteren, verzekerde hij ervoor dat de uiteindelijke conclusie gebaseerd was op de realiteit, en niet op een artefact van de software.

De kernbevinding is dat niet alle shortcuts in een kunstmatig intelligent brein gelijk zijn. Het verwijderen van het pad na het deel van het model dat woorden met elkaar verbindt, laat het systeem overleven en leren, waarschijnlijk omdat dat deel van het systeem zichzelf kan herbedraden om te compenseren. Het verwijderen van het pad na het deel dat individuele woorden verwerkt, zorgt ervoor dat het systeem volledig instort. Dit onderscheid is waar voor kleinere modellen en wordt sterk gesuggereerd voor grotere modellen, hoewel de grotere modellen verdere studie vereisen om de grenzen van deze aanpassingscapaciteit te bevestigen. Het werk dient als een herinnering dat in complexe systemen de specifieke arrangement van verbindingen even belangrijk is als de verbindingen zelf, en dat zelfs wanneer een systeem lijkt te falen, een nadere blik een verborgen vermogen tot herstel kan onthullen.