💻 computer science

Hidden APIs in Language Models: Discovering Reusable Causal Interfaces from Forked Futures

Dit artikel introduceert "forked futures", een methode voor het identificeren van herbruikbare causale interfaces in taalmodellen door verborgen toestanden te vergelijken op basis van hun geïnduceerde toekomstige responsverdelingen, waarbij wordt aangetoond dat een "Shared" interface de meest economische en robuuste representatie biedt over meerdere modelarchitecturen heen.

Oorspronkelijke auteurs: SiYuan Ma, Yiqin Luo, Zhangji, Canran Xiao, Albert Gao, Wei-Hsing Huang, Wei Wang, Qiwei Wu, Xinran Li, Jinfeng Wei, Qixin Zhang

Gepubliceerd 2026-07-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: SiYuan Ma, Yiqin Luo, Zhangji, Canran Xiao, Albert Gao, Wei-Hsing Huang, Wei Wang, Qiwei Wu, Xinran Li, Jinfeng Wei, Qixin Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een gigantische, superintelligente robot denkt. Je kunt zien wat hij als antwoord geeft op een vraag, maar je kunt de raderen die in zijn brein draaien niet zien. Al een lange tijd proberen wetenschappers een kijkje in de keuken te nemen door naar de "verborgen toestanden" van de robot te kijken—de interne elektrische patronen die bestaan vlak voordat hij een antwoord typt. De grote vraag is: gebruikt de robot één speciaal, herbruikbaar "bedieningspaneel" om al zijn denkwerk af te handelen, of moet hij voor elke taak een gloednieuw, eenmalig hulpmiddel bouwen? Dit is alsof je vraagt of een chef-kok één meestermes voor alles gebruikt, of dat hij telkens een andere, gespecialiseerde gadget grijpt voor het snijden van uien, het snijden van brood en het fileren van vis. Het begrijpen hiervan is belangrijk omdat, als de robot een herbruikbaar bedieningspaneel heeft, we misschien makkelijker met hem kunnen communiceren, zijn fouten kunnen herstellen of zijn geheimen kunnen ontrafelen. Als het slechts een chaotische bende van eenmalige hulpmiddelen is, wordt het een nachtmerrie om uit te leggen hoe hij werkt.

Dit artikel introduceert een slimme nieuwe manier om dit mysterie op te lossen, genaamd "forked futures" (gesplitste toekomsten). In plaats van de robot alleen maar een vraag te stellen en te zien wat hij zegt, zetten de onderzoekers een tijdreisexperiment op. Ze laten de robot een interne gedachte vormen (een verborgen toestand) op basis van een verhaal tot nu toe, maar voordat ze hem vertellen wat hij hierna moet doen. Vervolgens "splitsen" ze de toekomst: ze vragen de robot om veel verschillende dingen te doen met diezelfde gedachte, zoals feiten vergelijken, een regel verifiëren of een nieuwe zin samenstellen. Door te kijken naar hoe het brein van de robot reageert op deze verschillende toekomstige taken, kunnen ze zien of de interne gedachte daadwerkelijk een veelzijdige, herbruikbare tool was of slechts een doodlopende weg.

De onderzoekers testten dit idee op twee beroemde taalmodellen, Qwen2.5-1.5B en Llama-3-8B, waarbij ze vier verschillende theorieën tegen elkaar afzetten: een "Shared" theorie (één meesterbedieningspaneel), een "Local" theorie (een uniek hulpmiddel voor elke klus), een "Mixture" theorie (sommige hulpmiddelen worden gedeeld, andere niet) en een "Distributed" theorie (het werk is overal verspreid zonder centraal knooppunt). Ze maten welke theorie het gedrag van de robot het meest efficiënt verklaarde. De resultaten suggereren dat de "Shared" theorie de winnaar is. De robot lijkt een compacte, herbruikbare "API" (een soort interne interface) te gebruiken die hem moeite bespaart. Specifiek vereiste het Shared-model een beschrijvingslengte van 1,292 nats op het Qwen-model en 1,18 de 1,187 nats op het Llama-model, waarmee het de op één na beste optie versloeg met een marge van respectievelijk 0,216 en 0,294 nats. Dit betekent dat de robot een "shortcut" gebruikt om zijn interne toestanden te hergebruiken in plaats van telkens het wiel opnieuw uit te vinden.

Het artikel is echter zeer voorzichtig om de resultaten niet te overschatten. Het sluit expliciet de mogelijkheid uit dat dit een perfecte, universele "global workspace" is die alles in het brein van de robot afhandelt. Het bewijs laat zien dat deze herbruikbare interface het best werkt binnen specifieke families van taken (zoals logische puzzels of code), maar zwakker wordt wanneer men probeert totaal verschillende soorten taken met elkaar te mengen. Sterker nog, toen ze hun methode testten op neprobot-hersenen die simpel waren en waarvan ze het antwoord kenden, ontdekten ze dat hun methode in 8,3% van de gevallen een fout maakte (1 van de 12 niet-gedeelde hersenen werd onterecht als "shared" bestempeld). Dit betekent dat de ontdekking echt is maar beperkt; het is een krachtig instrument om specifieke delen van het denken van de robot te begrijpen, niet een magische sleutel om zijn volledige geest te ontsluiten. Het artikel concludeert dat hoewel deze modellen wel degelijk een compacte, herbruikbare causale interface hebben, dit een specifieke, voorwaardelijke functie is en geen magisch, alomvattend breincentrum.

Technische Samenvatting: Verborgen API's in Taalmodellen

1. Probleemstelling

Huidige methoden voor het analyseren van de interne toestanden van taalmodellen (LM's) vertrouwen vaak op het "proberen" (probing) van verborgen toestanden om de huidige output-token te voorspellen. Echter, identieke huidige antwoorden kunnen voortkomen uit verborgen toestanden die fundamenteel verschillende toekomstige berekeningen ondersteunen. Bijgevolg vormt een decodeerbare richting voor een enkel antwoord geen herbruikbare interne interface. De centrale vraag die wordt geadresseerd is contrafeitelijk: welke onderscheidingen tussen verborgen toestanden blijven noodzakelijk over mogelijke toekomstige berekeningen heen? Het artikel onderzoekt of LM's een compacte, gedeelde staat blootstellen die meerdere downstream-berekeningen kan hergebruiken, afzonderlijk van operation-specifieke (Local), gated (Mixture) of gedistribueerde alternatieven.

2. Methodologie

2.1 Gesplitste Toekomsten en Causale Signaturen

De kerninnovatie is de definitie van gesplitste toekomsten (forked futures). Voor een gegeven prefix-toestand $h$ genereert een operatiebank $\mathcal{K}$ geldige voortzettingen nadat de toestand is gevormd. De responsverdelingen van het model op deze operaties definiëren een toekomstige causale signatuur, $\Sigma_{\mathcal{K}}(h)$ .

Causale Equivalentie: Twee toestanden zijn empirisch toekomst-equivalent als hun signaturen dicht bij elkaar liggen onder de Jensen-Shannon divergentie (Future Signature Distortion, FSD).
Controles: De methodologie hanteert semantische botsingscontroles (dezelfde huidige antwoorden, verschillende toekomstige transities) en lexicale anti-botsingscontroles (verschillende oppervlaktevormen, dezelfde toekomstige signatuur) om te voorkomen dat de interface de huidige antwoorden of prompt-templates memoriseert.

2.2 Architectuurcompetitie via Prequential Causal MDL

Het artikel kadert de ontdekking van interfaces als een falsifieerbaar architectuurselectieprobleem. Vier concurrerende architecturen worden geëvalueerd:

Shared: Eén operatie-agnostische encoder $E(h)$ en een enkele bottleneck-code $c$ .
Local: Onafhankelijke encoder-reconstructor paren $(E_k, R_k)$ voor elke operatie.
Mixture: Een operatie-geconditioneerde gate die tussen shared en lokale componenten interpoleert.
Distributed: Informatie die behouden blijft over meerdere componenten zonder een geprivilegieerdeerde bottleneck.

Selectie vindt plaats op basis van Prequential Causal Minimum Description Length (MDL). Het model wordt sequentieel getraind op blokken data; de MDL meet de codelengte die nodig is om toekomstige signaturen op uitgelaten blokken te voorspellen, gegeven enkel de voorafgaande data. De Sharedness Gain (SG) wordt gedefend als het MDL-voordeel van de Shared-architectuur ten opzichte van het beste niet-Shared alternatief, onderworpen aan strikte getrouwheidscriteria (gemiddelde, slechtste familie en staart FSD).

2.3 Mechanistische Validatie

Een geselecteerde interface moet rigoureuze interventietests doorstaan om te bewijzen dat het functioneert als een causale API, en niet slechts als een statistische correlatie:

Transplantatie: Donor-interfacecodes worden ingevoegd in gematchte producent-rollen in basis-episoden. Succes wordt gemeten door Target Correctness (realiseren van donor-relaties), Locality (behoud van niet-target basis-toestand) en Copy Preservation (voorkomen van lekkage van donor-specifieke oppervlakte-inhoud).
Mediatietests: Het blokkeren van "API-gealigneerde" paden tussen producenten en consumenten moet het target-effect significant verminderen vergeleken met gematchte null-paden.
Model Organismen: De pijplijn wordt getest op synthetische transformers met bekende grondwaarheid-routing (Shared, Local, Mixture, Distributed) om de fout-positieve ratio's en herstelnauwkeurigheid te meten.

3. Belangrijkste Resultaten

3.1 Architectuurcompetitie

In evaluaties op Qwen2.5-1.5B en Llama-3-8B:

Shared behaalde de laagste uitgelaten prequential MDL vergeleken met Local, Mixture en Distributed.
Sharedness Gain (SG):
- Qwen2.5-1.5B: $SG = 0,216$ nats (95% CI: [0,161, 0,278]).
- Llama-3-8B: $SG = 0,294$ nats (95% CI: [0,208, 0,391]).
Fidelity: De Shared-architectuur behield een vergelijkbare of licht betere FSD (Gemiddelde, Slechtste Familie en Staart) dan de alternatieven, wat aangeeft dat de winst te danken is aan coderingsefficiëntie (hergebruik) in plaats van superieure voorspellende kracht.
Robuustheid: Een vijf-backbone sweep (inclusief Qwen2.5-7B, Mistral-7B, Gemma-2-9B, Phi-3-3.8B) behield de positieve richting van de Sharedness Gain.

3.2 Mechanistisch Bewijs

Transplantatie: De Shared-interface behaalde de hoogste samengestelde score (0,87) op target correctness, locality en copy preservation, waarmee het Local (0,70), Mixture (0,64) en Distributed (0,46) significant overtrof.
Mediatietests: API-gealigneerde paden medieerden 0,749 van het target-effect, vergeleken met 0,150 voor gematchte null-paden.
Selectiviteit: De causale graaf was spaarzaam (sparsity $\approx 0,79$ ) met een hoge cross-seed stabiliteit (Jaccard overlap 0,83). Slechts 7 van de 64 dimensies overleefden de BH-FDR correctie, wat duidt op selectieve noodzakelijkheid.

3.3 Model Organism Falsificatie

In een blind experiment op 16 synthetische organismen (4 per architectuurklasse):

Herstel: 14/16 architecturen werden correct geïdentificeerd.
Fout-positieve Ratio: Onder de 12 niet-Shared organismen werd 1 geclassificeerd als Shared (8,3% fout-Shared ratio). Dit voorkomt claims van perfecte identificeerbaarheid, maar ondersteunt het vermogen van de methode om de "altijd Shared" hypothese te verwerpen.

4. Claims en Betekenis

Het artikel claimt een economische, herbruikbare causale interface aan te tonen binnen de geteste operatiebanken voor de geëvalueerde modellen.

Aard van de Claim: De claim is expliciet vergelijkend en conditioneel. Het stelt dat, voor een vooraf geregistreerd gezin van toekomstige operaties, het model een compacte staat blootlegt die meerdere downstream-berekeningen efficiënter kan hergebruiken dan operatie-specifieke of gedistribueerde alternatieven.
Scope Beperkingen: De auteurs stellen expliciet dat dit geen unieke globale werkruimte identificeert voor alle LM-berekeningen. De resultaten zijn conditioneel op de kandidaat-architecturen, interventies en uitgelaten toekomsten. De interface wordt getoond als herbruikbaar binnen gealigneerde causale families, maar vertoont zwakkere transfer over verschillende taakfamilies (bijv. relatie-wereld naar programmastaat).
Mechanistisch Inzicht: De resultaten ondersteunen de hypothese dat LM's een "Shared" bottleneck gebruiken voor specifieke causale rollen, bewezen door kortere beschrijvingslengtes, succesvolle transplantatie met hoge wayheid (locality) en mediatie via spaarse, stabiele paden.

Het artikel concludeert dat de "Shared" architectuur de best geteste abstractie is onder de verklaarde alternatieven, waarbij een falsifieerbaar kader wordt geboden voor het ontdekken van verborgen API's zonder afhankelijk te zijn van door onderzoekers gespecificeerde latente labels.