💬 NLP

Language models struggle with compartmentalization

Dit artikel toont aan dat grote taalmodellen vaak falen in het verenigen van verschillende presentaties van hetzelfde latente concept (zoals verschillende talen of programmeerparadigma's) in gedeelde interne representaties, wat leidt tot redundante leerprocessen, verminderde steekproefefficiëntie en een faseovergang in de effectiviteit van interventies afhankelijk van het aantal conceptpresentaties.

Oorspronkelijke auteurs: Thomas Vincent Howe, David Wingate

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thomas Vincent Howe, David Wingate

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Parallelle Universum"-Probleem

Stel je een student voor die ongelooflijk slim is, maar een heel vreemde gewoonte heeft: ze behandelt exact hetzelfde feit alsof het twee volledig verschillende, ongerelateerde geheimen zijn, afhankelijk van hoe het is opgeschreven.

Als je haar in het Engels vertelt: "De lucht is blauw", schrijft ze het op in haar "Engelse notitieboek".
Als je haar in het Swahili vertelt: "De lucht is blauw", schrijft ze het op in een apart "Swahili-notitieboek".
Ze beseft nooit dat deze twee notitieboeken over hetzelfde gaan. Ze verwijst ze niet naar elkaar. Ze zegt niet: "Oh, ik weet dit al!"

Dit artikel noemt dit gedrag Compartimentering.

De auteurs stellen dat Large Language Models (LLM's) dit vaak doen. In plaats van één groot, efficiënt brein te bouwen dat het concept "de lucht is blauw" begrijpt, bouwen ze aparte, redundante breinen voor elke taal, programmeertaal of schrijfstijl die ze tegenkomen. Dit verspillen hun hersencapaciteit en maken ze trager in het leren (steekproefinefficiëntie).

Het Experiment: De "Magische Woordenschat"-Truc

Om te bewijzen dat dit gebeurt, creëerden de onderzoekers een gecontroleerd experiment. Ze gebruikten niet alleen verschillende talen; ze gebruikten een "magische truc" om het model te dwingen dezelfde data als totaal verschillend te zien.

De Analogie:
Stel je een bibliotheek voor waar elk boek in dezelfde taal is geschreven, maar de bibliothecaris heeft een regel:

Als een boek op het Linkerplankje staat, wordt het woord "Appel" geschreven als "Appel".
Als een boek op het Rechterplankje staat, wordt het woord "Appel" geschreven als "Banaan" (hoewel het hetzelfde betekent).

De onderzoekers creëerden een model waarbij het "Linkerplankje" en het "Rechterplankje" volledig verschillende woordenboeken hadden. Ze voerden het model exact dezelfde verhalen aan, alleen met de woorden verwisseld volgens het plankje.

Het Resultaat:
Het model slaagde er niet in de punten te verbinden. Het leerde het verhaal voor het Linkerplankje, en het leerde het verhaal voor het Rechterplankje, maar het behandelde ze als twee totaal aparte taken.

De Kosten: Omdat het hetzelfde twee keer leerde, had het meer data nodig om er goed in te worden (Steekproefinefficiëntie).
De Bottleneck: Omdat het twee kopieën van dezelfde kennis opslaat, raakte het sneller zijn "hersenenruimte" kwijt (Capaciteitskosten).

De "Vertaling"-Valstrik

De onderzoekers probeerden een gebruikelijke oplossing: ze gaven het model "vertaalparen". Ze lieten het zien: "Hier is 'Appel' op het Linkerplankje, en hier is 'Banaan' op het Rechterplankje."

De Verrassing:
Het model leerde de vertaalregel bijna direct. Het kon "Appel" perfect vertalen naar "Banaan". Echter, dit hielp niet om te stoppen met compartimenteren. Het hield de twee concepten nog steeds in aparte mentale vakjes. Het was als een student die een zin perfect kan vertalen, maar nog steeds niet begrijpt dat de onderliggende betekenis hetzelfde is.

Ze ontdekten dat dit pas begon te werken wanneer ze het model massale hoeveelheden vertaaldata gaven, of wanneer ze een specifieke trainingsmethode gebruikten genaamd "weight decay" (wat werkt als een zachte duw om het denken van het model te vereenvoudigen).

De "Faseovergang"

Het artikel ontdekte iets vreemds genaamd een Faseovergang.
Denk eraan als een lichtschakelaar.

Als je 2 compartimenten hebt (Linker/Rechter plankjes), blijft het model koppig en deelt het geen kennis.
Als je 8 compartimenten hebt, "snapt" het model plotseling, met genoeg vertaaldata, en begint het kennis te delen over al deze compartimenten heen.

Het lijkt erop dat het model pas beseft dat het zijn brein moet verenigen wanneer het probleem te ingewikkeld wordt om gescheiden te houden.

Wereldwijde Voorbeelden

De onderzoekers testten dit op realistische scenario's om te zien of het ook buiten hun "magische bibliotheek" gebeurt:

Meertalig Leren: Ze trainden kleine modellen op Engels en Chinees. Ze ontdekten dat voor kleine modellen de Engelse en Chinese kennis niet echt mengden. Het model was in wezen "gecompartimenteerd" en behandelde ze als aparte taken in plaats van één verenigd begrip.
Biografieën versus Vraag-Antwoord: Ze gaven het model feiten over mensen in twee formaten:
- Formaat A: Een biografie-paragraph ("John is een dokter die in New York woont").
- Formaat B: Een Vraag-Antwoord-paar ("Wie is John? Een dokter in New York").
- De Ramp: Toen het model probeerde beide formaten tegelijk te leren, vochten ze elkaar. Het model raakte in de war en presteerde slechter dan als het slechts één formaat had geleerd. Het was als proberen twee zware gewichten in één hand te houden; ze schakelden elkaar uit.

Het Goede Nieuws: Het is Oplosbaar

De belangrijkste bevinding is dat dit geen fundamentele fout is in hoe AI werkt; het is gewoon een slechte gewoonte waar het model in vervalt.

De onderzoekers toonden aan dat als je handmatig de kennis van het ene compartiment naar het andere kopieert aan het begin (of na training), het model perfect presteert. Dit bewijst dat het model in staat is kennis te delen, maar dat het standaard trainingsproces (SGD) er gewoon niet vanzelf achter komt hoe dit efficiënt te doen.

Samenvatting

Het Probleem: AI-modellen behandelen vaak hetzelfde feit, gepresenteerd op verschillende manieren (verschillende talen, verschillende formaten), als volledig ongerelateerde taken.
Het Gevolg: Dit verspillen hun geheugen en maken ze trager in het leren.
De "Vertaling"-Mislukking: Het simpelweg laten zien hoe het model tussen formaten kan vertalen, is niet genoeg om dit op te lossen; ze hebben veel meer data nodig of specifieke trainingsduwtjes om te beseffen dat de concepten hetzelfde zijn.
De Leerervaring: AI-modellen zijn momenteel "gecompartimenteerd". Ze hebben aparte kamers in hun brein voor elke manier waarop een feit kan worden gezegd, in plaats van één grote kamer waar alle feiten samenleven. Het artikel suggereert dat we betere trainingsmethoden nodig hebben om hen te helpen deze kamers te samenvoegen.

Technische Samenvatting: Taalmodellen Worstelen met Compartmentalisatie

Probleemstelling

Grote Taalmodellen (LLMs) worden getraind op data die dezelfde latente concepten bevat, gepresenteerd op meerdere onderscheidende manieren (bijvoorbeeld feiten in het Engels en het Swahili, functies in Python en Haskell, of proposities in formele en natuurlijke taal). Hoewel het wenselijk is dat modellen deze als gerelateerd herkennen en statistische kracht delen, falen geavanceerde modellen hier vaak in.

Het artikel definieert compartmentalisatie als een fenomeen waarbij een model $c$ verschillende presentaties van een verenigd latent data-generatieproces behandelt als gedeeltelijk of volledig aparte taken. In het ergste geval leert het model parallelle interne representaties voor elke presentatie zonder informatie tussen hen te amortiseren. Dit leidt tot twee primaire inefficiënties:

Staleninefficiëntie: Elke presentatie profiteert alleen van zijn eigen aandeel in de data. Als een presentatie een fractie $\epsilon$ van de data uitmaakt, kan het model $1/\epsilon$ keer meer steekproeven nodig hebben om de structuur te leren in vergelijking met een verenigde presentatie.
Capaciteitsconcurrentie: Redundante representaties verbruiken een beperkte modelcapaciteit. Een gecompartimentaliseerd model kan eerder verzadigen dan een cohesief model, en plateauert bij een hogere validatieverlies, zelfs met meer data.

Methodologie

Om compartmentalisatie te isoleren en te bestuderen, stellen de auteurs een "ergste-case" experimentele constructie voor die natuurlijke structurele aanwijzingen (zoals subwoord-overlap of syntactische regelmaat) verwijdert die doorgaans representatiedeling stimuleren.

De Tokenisatietrick

De auteurs creëren $c$ verschillende presentaties van statistisch identieke data door de tokenizer te wijzigen:

De basisvocabularygrootte $V$ wordt met een factor $c$ vergroot om een gezamenlijke vocabulary van $cV$ tokens te creëren.
Om data in presentatie $j$ te coderen, worden token-ID's verschoven met $jV$.
Dit zorgt ervoor dat dezelfde onderliggende tekst wordt weergegeven door volledig disjuncte sets tokens over de compartimenten heen, waardoor het model gedwongen wordt $c$ onafhankelijke mappings te leren tenzij het een gedeelde structuur ontdekt.

Experimentele Opstelling

Modellen: GPT-stijl decoders getraind op $\sim$ 131 miljard tokens van FineWeb.
Schaal: Experimenten bestrijken zes modelgroottes variërend van 1,1 miljoen tot $\sim$ 1 miljard parameters.
Training: Modellen worden getraind tot convergentie (overgetraind ten opzichte van Chinchilla-optimaal) om capaciteitslimieten waar te nemen.
Baselines: Vergelijkingen worden gemaakt tussen een enkel-compartimentmodel ( $c=1$ ) en gecompartimentaliseerde modellen ( $c \in \{2, \dots, 8\}$ ).

Belangrijkste Bijdragen en Resultaten

1. Kwantificering van de Kosten van Compartmentalisatie

De auteurs tonen aan dat compartmentalisatie aanzienlijke kosten oplevert die schalen met het aantal compartimenten ( $c$ ):

Vertraging in Steekproefefficiëntie: Naarmate $c$ toeneemt, neemt het aantal trainingsstappen dat nodig is om een specifieke validatieverlies te bereiken lineair toe. Bijvoorbeeld, bij $c=8$ vereist het model aanzienlijk meer stappen om dezelfde verlieswaarde te bereiken als de $c=1$ -baseline.
Capaciteitskosten: Het uiteindelijke validatieverlies plateauert bij hogere waarden naarmate $c$ toeneemt, wat aangeeft dat het model de data minder efficiënt kan representeren wanneer het gedwongen wordt disjuncte representaties te onderhouden.

2. Bestaan van Verenigde Oplossingen

Het artikel bewijst dat het onvermogen om kracht te delen geen fundamentele beperking is van de architectuur of de data, maar eerder een falen van het optimalisatieproces (SGD) om specifieke parameterinstellingen te vinden:

Initialisatieverdubbeling: Als het model wordt geïnitieerd door de embeddings van de basisvocabulary te kopiëren over alle $c$ compartimenten (in plaats van willekeurige initialisatie), bereikt het steekproefefficiëntie die overeenkomt met de $c=1$ -baseline.
Post-hoc Parameterverdubbeling: Een getraind $c=1$ -model kan worden omgezet in een $c$ -compartimentmodel door de geleerde embeddings te verdubbelen. Na een korte initiële verliespiek hervat het model de training op het oorspronkelijke prestatieplateau zonder capaciteits overhead.
Implicatie: Verenigde oplossingen bestaan en zijn bereikbaar, maar standaardtraining vanuit willekeurige initialisatie faalt ze te ontdekken.

3. Beperkingen van Standaard Interventies

De auteurs testen veelvoorkomende strategieën om representatiedeling te stimuleren en constateren dat deze vaak ontoereikend zijn of fase-overgangen vertonen:

Gekoppelde "Vertaal"-data: Het introduceren van data waarbij dezelfde tekst in twee compartimenten verschijnt (gekoppeld aan een vertaaltask) vermindert compartmentalisatie niet voor kleine $c$ $c$ . Het model leert de vertaaltask (tokens voorspellen in het ene compartiment gegeven het andere) tot bijna nul verlies, toch blijven de compartimenten concurreren om capaciteit.
- Fase-overgang: Een vermindering van compartmentalisatie (het doorbreken van het verliesplateau) treedt pas op nadat een $c$ -afhankelijke drempel is overschreden (bijvoorbeeld bij $c=8$ met hoge vertaalverhoudingen).
- Gewichtsdecay: Aggressieve gewichtsdecay versnelt deze fase-overgang en verschuift de drempel naar lagere waarden van $c$ (bijvoorbeeld van $c=8$ naar $c=6$ ).
Contrastieve Uitlijning (InfoNCE): Een auxiliary-objective om middle-layer representaties van dezelfde tekst over compartimenten uit te lijnen, vertoont vergelijkbaar gedrag. Het biedt geen meetbaar voordeel voor $c=2$ , bescheiden voordelen voor $c=4$ , en aanzienlijk herstel van de "compartmentalisatiebelasting" voor $c=6$ en $c=8$ .

4. Casestudies op Natuurlijke Data

De auteurs passen hun raamwerk toe op real-world scenario's om het concept te valideren:

Meertalige Training: Training op Engels en Chinees Wikipedia-data toont aan dat kleine modellen (<1 miljard parameters) hoge compartmentalisatie vertonen. De prestaties van een meertalig model met gedeelde tokenizer volgen nauwkeurig een "gecompartimentaliseerde" baseline (met gebruik van disjuncte tokenizers), wat wijst op lage informatie-uitwisseling tussen presentaties in de vroege trainingsfasen.
Synthetische Biografieën versus V&A: Een synthetische taak waarbij feiten worden gepresenteerd als ofwel biografische alinea's ofwel V&A-paren, onthult destructieve capaciteitsconcurrentie. Wanneer getraind met een gedeelde tokenizer, presteert het model slecht op beide formaten in vergelijking met training op een enkel formaat. Echter, wanneer de formaten gecompartimenteerd zijn (disjuncte tokenizers), verbetert de prestatie op het biografische formaat aanzienlijk, wat aangeeft dat het falen bij gezamenlijke training te wijten was aan interferentie in gedeelde parameters in plaats van een gebrek aan capaciteit.

Betekenis en Claims

Het artikel betoogt dat het taalmodelleringdoel representaties over verschillende presentaties van hetzelfde concept mogelijk slechts inconsistent verenigt. De belangrijkste conclusies zijn:

Compartmentalisatie is een Real Fenomeen: LLMs falen er vaak in om statistische kracht te delen tussen verschillende presentaties (talen, formaten, code), wat leidt tot redundant leren en verspilde capaciteit.
Optimalisatiefalen: Het falen om representaties te verenigen is niet te wijten aan architectonisch onvermogen; verenigde oplossingen bestaan en zijn bereikbaar via specifieke initialisaties, maar standaard SGD-training vindt ze niet.
Fase-overgangen in Leren: Interventies zoals vertaaldata of contrastieve verliezen verbeteren de prestaties niet lineair. In plaats daarvan vertonen ze fase-overgangen waarbij effectiviteit pas optreedt nadat een bepaalde drempel van dataverhouding of modelcomplexiteit ( $c$ ) is bereikt.
Implicaties voor Efficiëntie: De bevindingen suggereren dat huidige trainingsparadigma's inherent steekproef-inefficiënt en capaciteit-inefficiënt kunnen zijn bij het omgaan met veelzijdige data, omdat modellen mogelijk veel minder "van elkaar leren" dan wordt aangenomen.

De auteurs blijven bescheiden, met de opmerking dat hun bevindingen gebaseerd zijn op modellen in kleine schaal en dat compartmentalisatie bij grotere schalen zou kunnen afnemen, hoewel bestaande bewijs van geavanceerde modellen suggereert dat het fenomeen aanhoudt. Zij stellen hun op tokenizers gebaseerde constructie voor als een baseline voor het meten van representatiedeling in toekomstig onderzoek.