🤖 machine learning

Borrowed Geometry: Computational Reuse of Frozen Text-Pretrained Transformer Weights Across Modalities

Dit artikel toont aan dat bevroren, alleen tekst-gebaseerde voorgetrainde Gemma 4 31B-weights effectief over modaliteiten kunnen worden overgedragen om state-of-the-art prestaties te bereiken in robotische manipulatie, besluitvorming en associatief herinneringstaken met uitsluitend een dunne trainbare interface, waarmee wordt bewezen dat de draagkracht van de voortraining van het model inherent is aan de weights en niet aan de specifieke modality of trainingsdata.

Oorspronkelijke auteurs: Abay Bektursun

Gepubliceerd 2026-05-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abay Bektursun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok hebt die zijn hele leven heeft besteed aan het perfectioneren van de kunst van het koken van tekst. Hij kan woorden hakken, zinnen mengen en alinea's bakken beter dan wie ook. Deze kok is een massief, bevroren computerbrein (een "bevroren" AI-model genaamd Gemma 4) dat nooit een robot, een videospel of een fysiek object heeft gezien. Het heeft uitsluitend taal verwerkt.

Nu stel je je voor dat je een robot wilt leren lopen of een computer wilt leren een spel spelen, maar je wilt geen nieuwe kok vanaf nul trainen. In plaats daarvan vraag je: "Kunnen we het brein van deze tekstkok lenen om niet-tekstproblemen op te lossen?"

Dit artikel zegt ja, maar met een zeer specifieke draai.

De Kernidee: Geometrie Lenen

De auteurs behandelen het brein van de bevroren tekstkok niet als een hulpmiddel voor het schrijven, maar als een voorbouwde, high-tech keuken. Ze veranderen het brein van de kok niet (de gewichten zijn "bevroren"). In plaats daarvan bouwen ze een klein, goedkoop "adaptertje" (een eenvoudige interface) om robotbewegingen of speltoestanden te vertalen naar de taal die de kok begrijpt, en vervolgens de output van de kok terug te vertalen naar acties.

Denk er zo over na: De kok weet hoe hij ingrediënten perfect moet ordenen. Je hoeft ze niet te leren hoe ze een auto moeten bouwen; je hoeft ze alleen de auto-onderdelen in een formaat te geven dat ze herkennen, en ze zullen instinctief weten hoe ze ze moeten assembleren omdat hun brein al is bedraad voor complexe organisatie.

De Grote Overwinningen (Wat Ze Eigenlijk Hebben Gedaan)

1. De Robot die Leerde Dansen (OGBench)

De Test: Ze probeerden een gesimuleerde robotarm te krijgen om objecten op te pakken en te verplaatsen (een taak die het nog nooit had gezien).
Het Resultaat: Met behulp van het bevroren tekstbrein presteerde de robot beter dan de huidige beste gespecialiseerde robotsoftware.
De Vangst: Het was niet perfect bij elke taak. Bij één specifieke "kubus"-stapeltaak was de tekst-breinrobot eigenlijk slechter dan de gespecialiseerde software. Echter, toen ze de tekst-breinrobot vergeleken met een willekeurig geïnitieerd brein (een brein met dezelfde vorm maar zonder training), was de tekst-brein 59 punten beter.
De Les: De "bevroren" teksttraining bood een enorme voorsprong. Het brein was niet zomaar een willekeurige vorm; het had nuttige "spiergeheugen" geleerd voor het ordenen van sequenties, zelfs al leerde het dat alleen door het lezen van boeken.

2. De Loopende Robot (D4RL Walker2d)

De Test: Kan het tekstbrein een robot helpen leren lopen?
Het Resultaat: Ja. De tekst-breinrobot liep even goed als de huidige state-of-the-art "Decision Transformer" (een model dat specifiek is gebouwd voor lopen).
De Bonus: De tekst-breinoplossing gebruikte minder dan de helft van de trainbare parameters van het gespecialiseerde loopmodel. Het was een efficiëntere manier om hetzelfde resultaat te bereiken.

3. De "Magische" Geheugentest (Associatief Herinneren)

De Test: Een eenvoudig geheugenspel waarbij de computer een patroon moet onthouden en het later moet herhalen.
Het Resultaat: Het bevroren tekstbrein, met een klein adaptertje, loste dit perfect op. Een gloednieuw model van exact dezelfde grootte, dat vanaf nul was getraind op dit specifieke spel, faalde volledig.
De Les: Het tekstbrein leerde niet alleen "woorden"; het leerde een fundamentele manier om met patronen en geheugen om te gaan die zelfs van toepassing is op niet-taaltaken.

Het "Waarom": Het Vinden van de Specifieke "Atomen" van Denken

Het meest fascinerende deel van het artikel is hoe ze naar binnen het brein keken om te zien wat er gebeurde. Ze zeiden niet zomaar "het werkt"; ze vonden de specifieke tandwielen die draaiden.

Het Experiment: Ze keken naar 192 kleine "attention heads" (denk hieraan als individuele neuronen of gespecialiseerde werknemers binnen het brein).
De Ontdekking: Ze vonden vier specifieke werknemers (heads) die dubbel werk deden.
- In de tekstwereld waren deze werknemers experts in het kopiëren van woorden of het matchen van patronen (bijvoorbeeld het opmerken dat "kat" twee keer in een zin voorkomt).
- In de niet-tekstwereld (zoals de robottaken of het geheugenspel) waren die exacte vier werknemers het meest cruciaal voor het oplossen van het probleem.
De Analogie: Stel je een werknemer voor die is aangenomen om rode en blauwe kralen te sorteren. Vervolgens vraag je hen om rode en blauwe auto's te sorteren. Ze falen bij de auto's, maar je ontdekt dat de specifieke werknemer die het beste was in het sorteren van kralen, ook degene is die instinctief weet hoe ze de auto's moeten sorteren. Het brein hoefde niet opnieuw te worden getraind; het had alleen de juiste "vertaler" nodig om de auto's te laten zien.

De Grenzen (Waar Het Faalt)

Het artikel is zeer eerlijk over waar deze "lening" faalt. Het tekstbrein is geweldig in sequenties (A leidt tot B leidt tot C) en patroonherkenning, maar het worstelt met dingen die vereisen:

2D Ruimtelijk Denken: Zoals het spelen van "Game of Life" (een rastergebaseerde simulatie) of het navigeren door een doolhof. Het brein is bedraad voor een lijn tekst, niet voor een 2D-kaart.
Continue Precisie: Zoals het controleren van een robotarm met extreme soepelheid of het doen van complexe wiskunde met decimalen. Het is goed in discrete stappen, niet in vloeiende beweging.
Stapellogica: Zoals het balanceren van haakjes in een complexe code-structuur (Dyck-2). Het tekstbrein werd hier eigenlijk slechter in dan een eenvoudig, ongetraind model, wat suggereert dat het leren van het lezen van Engels het brein per ongeluk heeft "geblokkeerd" voor het leren van dit specifieke type logica.

Samenvatting

Dit artikel bewijst dat een brein dat uitsluitend is getraind op tekst, een verborgen, herbruikbaar "besturingssysteem" bevat voor het ordenen van informatie. Je kunt dit bevroren brein nemen, het inpluggen in een robot of een spel, en het zal vaak modellen overtreffen die vanaf nul zijn gebouwd, simpelweg omdat het al de diepe, structurele regels heeft geleerd hoe dingen bij elkaar passen.

Het is geen magie; het is computationele exaptatie. Net zoals veren evolueerden voor warmte maar later werden "geleend" voor vlucht, werd het vermogen van het brein om tekstpatronen te kopiëren en te matchen "geleend" om robot- en geheugenproblemen op te lossen waarvoor het nooit was ontworpen om te zien.

1. Probleemstelling

Het paper adresseert een fundamentele vraag in deep learning: Zijn de gewichten van een transformer op de voorgrond van tekstpretraining een algemeen computationeel substraat dat kan worden "geleend" voor taken in modaliteiten die het nooit heeft gezien?

Huidige industriële praktijken behandelen voorgetrainde Large Language Models (LLM's) als statische artefacten voor tekstgeneratie of fine-tuning voor tekstgerelateerde taken. Dit onderzoek hypothesiseert dat de "geometrie" (gewichtsmatrices en attentiepatronen) die tijdens pretraining wordt geleerd, lage-orde, symmetrische en hiërarchische computationele primitieven codeert (bijvoorbeeld token kopiëren, induktie) die universeel zijn voor functies in de natuurlijke wereld. Het doel is om te testen of deze bevroren gewichten, wanneer gekoppeld aan een minimaal trainbaar interface, niet-teksttaken (robotica, continue controle, algoritmisch redeneren) kunnen oplossen zonder de kern gewichten aan te passen.

2. Methodologie

Kernopzet

Substraat: Het onderzoek maakt gebruik van Gemma 4 31B (een hypothetische release in 2026), waarbij specifiek de lagen L24–L29 worden bevroren (een slice van 6 lagen met ~2,93 miljard parameters). Deze slice was uitsluitend voorgetraind op teksttokens (web, code, wiskunde).
Interface: Een "dunne" trainbaar interface mapt niet-tekstinput (state-action vectoren, bitroosters, kinematica) naar de bevroren modelruimte van 5376 dimensies. De interface omvat lineaire encoders, input-statistiek matchers en decoders.
Invriezen: De Gemma-gewichten zijn volledig bevroren (nul gradiënten); alleen de interface-parameters worden getraind.

Experimenteel Protocol

Het paper hanteert een strenge reeks controles om de bijdrage van pretraining te isoleren van architectuur en capaciteit:

Cross-Modale Transfer: Testen op OGBench (robotische manipulatie), D4RL (offline RL) en gesuperviseerde algoritmische taken (kopiëren, associatief herinneren, cellulaire automata).
Architectuur-Alleen Controls:
- FrozenRandom-GPT2: Een bevroren 6-lagen transformer met correcte $1/\sqrt{d_k}$ schaling maar willekeurige initialisatie.
- Random Gemma Slice: Dezelfde Gemma-architectuur met willekeurige gewichten.
- Matched-Capacity Getrainde Transformer: Een transformer die vanaf nul is getraind met hetzelfde aantal parameters als de bevroren slice.
Dual-Measurement Mechanisme: Een protocol om specifieke attentiehoofden te identificeren door correlatie:
- Text-Activation Probing: Meten van attentie voor token kopiëren/induktie in Engelse zinnen.
- Task Ablation: Het op nul zetten van specifieke hoofden en het meten van de prestatiedaling op niet-talige taken.

3. Belangrijkste Bijdragen

Empirische Validatie van "Borrowed Geometry": Demonstreert dat bevroren tekstgewichten complexe niet-teksttaken (robotica, RL) kunnen oplossen, waarbij willekeurig geïnitieerde architecturen van dezelfde grootte volledig falen.
Mechanistische Identificatie van Exapted Heads: Identificeert specifieke attentiehoofden (bijvoorbeeld L26.28, L27.28) die cruciaal zijn voor zowel tekst-token-kopiëren als niet-talige algoritmische taken (binair kopiëren, associatief herinneren), en levert bewijs voor "computationele exaptatie".
Substraat Isolatie: Bewijst dat de prestatiewinst voortkomt uit de voorgetrainde gewichten, en niet alleen uit de architectuur of het trainbare interface, door aan te tonen dat willekeurig geïnitieerde versies van dezelfde architectuur deze taken niet kunnen leren.
Compressie en Efficiëntie: Laat zien dat het bevroren substraat gecomprimeerd kan worden (bijvoorbeeld naar een slice van 5 lagen) terwijl de prestaties behouden blijven of verbeteren ten opzichte van grotere baselines, en Decision Transformer-pariteit bereikt met aanzienlijk minder trainbare parameters.

4. Belangrijkste Resultaten

A. Succesvolle Cross-Modale Transfer

OGBench (Robotische Manipulatie):
- Scene-Play-Task1: De bevroren Gemma + IQL-hoofden behaalden 97,33% succes, wat de gepubliceerde SOTA (GCIQL) verslaat met +4,33 punten.
- Cube-Double-Play-Task1: Het bevroren model behaalde 60,22% succes, terwijl de willekeurig geïnitieerde Gemma-slice volledig faalde (0,89%). Dit vertegenwoordigt een +59 punten isolatiewinst, wat bewijst dat pretraining draagkrachtig is.
D4RL (Offline RL - Walker2d):
- De bevroren Gemma-slice (L24–L29) behaalde een genormaliseerde score van 76,2 ± 0,8, wat overeenkomt met de Decision Transformer (DT) baseline (74,0) terwijl slechts 0,43× de trainbare parameters worden gebruikt.
- Compressie: Het verwijderen van laag L24 (alleen L25–L29 gebruiken) verbeterde de prestaties tot 77,84, wat aantoont dat de "rand" van de slice niet strikt noodzakelijk is voor deze taak.

B. Gesuperviseerde Algoritmische Taken

Associatief Herinneren (AR): De bevroren slice met een 113K-parameter lineair interface behaalde een fout per bit van 0,0505. Een matched-capacity (6,36M) transformer die vanaf nul was getraind, faalde volledig (fout 0,4395), wat een 8,7× voordeel oplevert voor het bevroren model.
Cellulaire Automata (Regel 90): Het bevroren model leerde de taak, terwijl een bevroren willekeurige transformer met correcte schaling 50k stappen lang op een willekeurige kansfout bleef hangen.

C. Mechanistische Bevindingen (De "Genoemde Hoofden")

Met behulp van het dual-measurement protocol identificeerde het paper specifieke hoofden die dezelfde berekening uitvoeren in tekst- en niet-tekst-domeinen:

Hoofd L26.28: Scoort 3,7× het slice-gemiddelde voor Engels token-kopiëren en is het #2 meest kritieke hoofd voor binaire kopie-ablatie ( $\Delta = +0,221$ ).
Hoofd L27.28: Scoort 2,6× voor tekst kopiëren en is het #1 kritieke hoofd voor zowel binaire kopie als binaire optelling.
Hoofd L27.2 & L27.3: Kritiek voor respectievelijk Associatief Herinneren en Cellulaire Automata, en vertonen ook hoge tekst-match scores.
Conclusie: Deze hoofden zijn "exapted" – gevormd door tekstpretraining maar gerekruteerd voor analoge niet-talige berekeningen.

D. Beperkingen en Grenzen

De geleende geometrie is niet universeel. Het faalt op:

Dyck-2 (Gebalanceerde Haakjes): Bevroren modellen plateau op hoge foutpercentages (~0,03), terwijl transformers vanaf nul dit probleem eenvoudig oplossen. Dit suggereert dat pretraining een "anti-prior" creëert tegen expliciete stack-structuren.
2D Ruimtelijke Taken (Game of Life): De 1D sequentiële primitieven componeren niet tot 2D ruimtelijke buurtberekeningen.
Precisie in Continue Controle: Faalt op HalfCheetah en Hopper (die fijnmazige continue controle vereisen) en gladde regressietaken (NARMA).

5. Betekenis

Herscheppen van de Waarde van Pretraining: Het paper betoogt dat de waarde van massale pretraining niet alleen "kennis" is, maar de ontdekking van universele computationele primitieven (zoals token kopiëren) die herbruikbaar zijn over modaliteiten heen.
Efficiëntie: Het suggereert dat voor specifieke taken geen enorme model hoeft te worden getraind vanaf nul; een bevroren, gecomprimeerde slice van een tekstmodel kan dienen als een krachtige, algemene rekenmotor.
Mechanistische Interpretatie: Het overbrugt de kloof tussen mechanistische interpretatie (begrijpen hoe modellen werken) en transfer learning. Door specifieke hoofden te benoemen die transfereren, gaat het voorbij aan aggregate claims als "bevroren modellen helpen" naar specifieke, verifieerbare circuit-hergebruik.
Evolutionaire Analogie: Het concept van Exaptatie (veren die evolueren voor warmte, en vervolgens worden gebruikt voor vlucht) wordt toegepast op neurale netwerken, wat suggereert dat kenmerken die voor het ene domein (taal) zijn geselecteerd, kunnen worden herbestemd voor een ander (robotica) zonder herontwerp.

6. Conclusie

Het paper levert sterke empirische bewijzen dat bevroren tekst-voorgetrainde gewichten fungeren als een algemeen computationeel substraat. Hoewel het geen wondermiddel is voor alle taken (het faalt op expliciete stack- of 2D ruimtelijk redeneren), slaagt de "geleende geometrie" erin token-matchen en patroon-aanvullende primitieven over te dragen naar robotica en algoritmische taken, en presteert het beter dan zowel willekeurige architecturen als matched-capacity modellen die vanaf nul zijn getraind. De identificatie van specifieke, cross-modale attentiehoofden biedt een nieuwe lens voor het begrijpen van de universaliteit van deep learning representaties.