💬 NLP

Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

Deze pilotstudie maakt gebruik van Natural Language Autoencoders om de interne activaties van Qwen2.5-7B-Instruct te analyseren, waarbij wordt onthuld dat het model de Colombiaanse identiteit en bijbehorende stereotypen afleidt uit subtiele linguïstische aanwijzingen in Spaanse en Engelse prompts voordat het expliciete output genereert.

Oorspronkelijke auteurs: Pablo Santiago Potes Velasco, María del Mar García Matabanchoy, Óscar Julián Pérez Ladino, Jhoan Stevan Mosquera Ortiz, Nicolás Lozano Mazuera, Gilber Alexis Corrales Gallego

Gepubliceerd 2026-07-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pablo Santiago Potes Velasco, María del Mar García Matabanchoy, Óscar Julián Pérez Ladino, Jhoan Stevan Mosquera Ortiz, Nicolás Lozano Mazuera, Gilber Alexis Corrales Gallego

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je praat met een superintelligënte robot die bijna alles op het internet heeft gelezen. Je zou kunnen denken dat deze robot alleen weet wat je ertegen zegt. Maar wat als de robot eigenlijk probeert te raden wie je bent op basis van piepkleine, onzichtbare hints in je stem of de woorden die je kiest? Dit is de wereld van Large Language Models (LLMs). Dit zijn de AI-hersenen achter chatbots en zoektools. Wetenschappers hebben ontdekt dat deze modellen niet alleen woorden verwerken; ze bouwen een geheim "profiel" van de persoon met wie ze praten, waarbij ze zaken raden zoals nationaliteit of sociale achtergrond, zelfs als je die nooit noemt.

Om in de hersenen van deze robot te gluren, gebruiken onderzoekers een speciaal hulpmiddel genaamd een Natural Language Autoencoder (NLA). Denk aan de hersenen van de robot als een enorme, donkere fabriek waar informatie door pijpen stroomt. De NLA is als een magische zaklamp die op een specifieke pijp kan schijnen en de elektrische signalen die erdoorheen stromen kan vertalen naar gewone Engelse zinnen. Het laat ons de "innerlijke monoloog" van de robot horen voordat hij daadwerkelijk zijn definitieve antwoord typt. Dit is belangrijk omdat als een robot de verkeerde dingen over je raadt — zoals aan te nemen dat je uit een ander land komt of stereotypen gebruikt — hij je slecht advies kan geven of je onrechtvaardig kan behandelen, terwijl hij doet alsof hij neutraal is.

Dus een team onderzoekers uit Colombia besloot dit te testen op een populaire robot genaamd Qwen2.5-7B. Ze wilden weten: Raadt deze robot stiekem dat een gebruiker Colombiaans is op basis van slechts één subtiele hint, zelfs als de gebruiker nooit "Ik ben Colombiaan" zegt?

Dit is wat ze deden en wat ze vonden.

Het Experiment: Een spelletje "Raad wie ik ben?"

De onderzoekers zetten een slim spel op met 30 verschillende gesprekstarters (prompts). Ze verdeelden deze in drie groepen:

De "Obvious" (Duidelijke) Groep: Prompts die duidelijk zeiden dat de gebruiker Colombiaans was (zoals het noemen van een specifiek Colombiaans bussysteem).
De "Subtle" (Subtiele) Groep: Prompts met slechts één kleine, verborgen aanwijzing die zou kunnen suggereren dat het om Colombia gaat (zoals een specifiek type soep of de naam van een lokale studielening), maar niets dat expliciet "Colombia" zei.
De "Neutral" (Neutrale) Groep: Prompts die over dezelfde onderwerpen gingen maar geen enkele Colombiaanse aanwijzing bevatten (zoals vragen over een generieke soep of een generieke bus).

Ze vroegen de robot deze vragen in zowel het Spaans als het Engels. Vervolgens gebruikten ze hun "magische zaklamp" (de NLA) om in de hersenen van de robot te kijken op vier verschillende momenten terwijl hij aan het nadenken was (genaamd "kwartielen"). Ze wilden zien of de innerlijke gedachten van de robot begonnen te zeggen: "Deze persoon is Colombiaans" voordat de robot dat daadwerkelijk opschreef in zijn definitieve antwoord.

De Bevindingen: Het Geheime Gefluister van de Robot

De resultaten waren een mix van "aha!"-momenten en "oeps"-momenten.

1. Subtiele aanwijzingen werken (uiteindelijk)
Wanneer de onderzoekers de "Subtle" prompts aan de robot gaven, begonnen de innerlijke gedachten van de robot te raden dat de gebruiker Colombiaans was. Het gebeurde echter niet onmiddellijk.

In het allereerste moment van nadenken (Kwartiel 1) noemde de innerlijke stem van de robot Colombia 0% van de tijd.
Tegen het derde moment (Kwartiel 3) begon de innerlijke stem van de robot "Colombia" ongeveer 20% van de tijd te noemen.
Tegen het laatste moment (Kwartiel 4) steeg dat aantal naar bijna 78% wanneer men alle nationaliteitsverwijzingen telde, maar wanneer de onderzoekers de gokken voor andere landen (zoals Spanje of Turkije) eruit filterden en alleen keken naar Colombia-specifieke vermeldingen, lag het percentage feitelijk op 0,11 (ongeveer 11%).

Dit suggereert dat de robot een beetje tijd nodig heeft om zijn gedachten te ordenen. Hij begint zonder een specifieke Colombiaanse identiteit in gedachten, en naarmate hij meer van de zin verwerkt, begint hij die specifieke gok te vormen, hoewel hij Colombia nog steeds af en toe verwart met andere landen.

2. Het "Fake News" Probleem
Hier wordt het lastig. De onderzoekers merkten op dat de zaklamp van de robot soms liet zien dat hij over een land nadacht, maar dat het het verkeerde land was. Bijvoorbeeld, bij een onderwerp over Colombia, dacht de robot intern misschien: "Oh, dit gaat over Spanje" of "Dit gaat over Turkije".
De onderzoekers moesten heel voorzichtig zijn. Ze realiseerden zich dat de robot goed was in het raden van "een land", maar niet altijd goed in het raden van "Colombia" specifiek. Wanneer ze deze foutieve gokken eruit filterden, werd het patroon voor de "Subtle" groep nog duidelijker: de robot vormde zeker een Colombiaanse identiteit in zijn geest (stijgend van 0% naar ongeveer 11%), terwijl de "Neutral" groep (zonder aanwijzingen) op 0% bleef wat betreft het specifiek denken over Colombia.

3. De "Obvious" Groep was vreemd
In de "Obvious" groep, waar de Colombiaanse aanwijzing direct in de eerste zin stond, was de innerlijke stem van de robot tijdens het midden van het proces verrassend stil. Pas aan het einde van het proces begon de robot pas intensief over Colombia te "praten". De onderzoekers denken dat dit komt omdat de robot in de war raakte door zijn eigen trainingsdata of werd afgeleid door andere ideeën voordat hij zich op het juiste antwoord stortte.

Hoe zeker zijn ze?

De onderzoekers zijn voorzichtig met het roepen van "We hebben het opgelost!". Ze noemen dit een pilotstudie, wat een soort oefenronde is. Ze hebben slechts 5 voorbeelden getest voor elk type aanwijzing. Omdat het aantal zo klein is, kunnen ze niet met 100% zekerheid zeggen dat dit elke keer gebeurt.

Echter, de data die ze hebben, suggereert een sterk patroon:

De robot lijkt inderdaad de Colombiaanse identiteit af te leiden uit een enkele subtiele aanwijzing.
Deze afleiding vindt plaats voordat de robot zijn definitieve antwoord schrijft.
De robot is niet perfect; hij verwart Colombia soms met andere landen, wat een bekende fout is in hoe deze tools werken.

Het Grote Plaatje

Dit paper bewijst niet dat de robot bevooroordeeld is op een manier die alles verpest, maar het laat wel zien dat de robot "luistert" naar aanwijzingen waarvan we niet dachten dat ze belangrijk waren. Het is als een detective die de nationaliteit van een verdachte probeert te raden op basis van de manier waarop hij een kop koffie vasthoudt, zelfs als diegene nog geen woord heeft gezegd.

De onderzoekers vonden dat voor het Colombiaanse Spaans, de innerlijke gok van de robot echt is, maar dat het een paar seconden nadenken kost voordat deze concreet wordt. Ze ontdekten ook dat als je dezelfde vraag in het Engels stelt, de robot de Colombiaanse context vaak volledig vergeet en deze vervangt door ideeën over Canada of Europa. Dit vertelt ons dat deze robots verschillende talen en culturen heel verschillend kunnen behandelen, en dat we die zaklamp constant op hun hersenen moeten blijven schijnen om er zeker van te zijn dat ze geen verhalen verzinnen over wie wij zijn.

Technische Samenvatting: Het Proberen van Latente Colombiaanse Identiteitsinferenties in Qwen2.5-7B met Natural Language Autoencoders

Probleemstelling
Large Language Models (LLM's) staan erom bekend demografische attributen te infereren—zoals nationaliteit, dialect en sociaaleconomische status—uit subtiele linguïstische aanwijzingen, zelfs wanneer deze attributen niet expliciet worden vermeld. Hoewel instructie-getunede modellen vaak weigeren te antwoorden op expliciete demografische vragen, blijven ze hun generatie conditioneren op geïnferreerde attributen, wat leidt tot bevoordeelde outputs. Dit fenomeen is bijzonder acuut voor ondervertegenwoordigde Spaanse varianten; het Colombiaans Spaans scoort bijvoorbeeld aanzienlijk lager in herkenningsbenchmarks vergeleken met het Spaans uit het Iberisch schiereiland, een discrepantie die wordt toegeschreven aan de samenstelling van de trainingsdata in plaats van het volume aan digitale bronnen.

Ondanks het bewijs dat demografische inferenties plaatsvinden, is er een gebrek aan onderzoek dat inspecteert wat modellen intern representeren voordat ze een output verbaliseren. Specifiek is het onbekend of modellen een Colombiaanse identiteit infereren uit impliciete aanwijzingen op dezelfde manier als zij eerder hebben laten zien andere nationaliteiten (bijv. Russisch) te infereren, nog vóórdat er enige lexicale bewijslast in de prompt verschijnt. Deze studie adresseert de kloof tussen linear-probe studies (die laten zien dat demografische inferentie bestaat) en bias-audit studies (die de schade van dergelijke inferentie aantonen), met als doel te lokaliseren wanneer een inferentie van een Colombiaanse identiteit ontstaat vanuit indirecte aanwijzingen met behulp van een ongesuperviseerde, training-vrije benadering.

Methodologie
De auteurs maken gebruik van Natural Language Autoencoders (NLA), specif kind de open-source paren uitgebracht door Fraser-Taliente et al. [2026], om de activaties in de residual stream te verbaliseren. De studie maakt gebruik van het Qwen2.5-7B-Instruct model.

Dataontwerp: De dataset bestaat uit 30 prompts gerangschikt in 15 bij elkaar passende Spaans-Engelse paren. Deze zijn gecategoriseerd in drie expliciteitsniveaus ( $n=5$ $n = 5$ per niveau):
- Expliciet: Bevat ondubbelzinnige Colombiaanse markers (positieve controle).
- Implicit: Bevat exact één subtiele aanwijzing (analoog aan het "vodka" $\to$ "Russisch" geval in eerder werk).
- Neutraal: Topisch overeenkomstig maar zonder nationale markers (negatieve controle).
Activatie-extractie: De auteurs extraheren de residual-stream activaties van laag 20 ( $\ell=20$ ), de diepte waarop de NLA is getraind. Voor elke prompt wordt de token-sequentie verdeeld in vier aaneengesloten positionele kwartielen. De finale token-activatie van elk kwartiel ( $q_1, q_2, q_3, q_4$ ) wordt geselecteerd, wat vier verschillende vectoren per prompt oplevert.
Verbalisatie: Elke activatievector wordt één keer door de NLA-verbalizer (AV) gestuurd om een natuurlijke taalverklaring ( $z_k$ ) te generen. Dit resulteert in vier verklaringen per prompt.
Analyse: De 120 resulterende verklaringen (30 prompts $\times$ 4 kwartielen) worden gecodeerd door een LLM (Claude Sonnet) op vermeldingen van nationaliteit, sociaaleconomische status en stereotypen. De codering vereist strikt expliciet tekstueel bewijs en letterlijke citaten. Om onderscheid te maken tussen algemene nationaliteitsconfabulatie en specifieke Colombiaanse identiteit, taggen de auteurs vermeldingen die specifiek Colombia of ondubbelzinnige metoniemen (bijv. Bogotá, TransMilenio) noemen.
Statistische Benadering: Gezien de kleine steekproefomvang ( $n=5$ per cel), rapporteren de auteurs descriptieve percentages met Wilson score-intervallen en gebruiken zij de Fisher's exact test voor de vergelijking tussen implicit- versus neutraal. Zij vermijden het imputeren van "nooit voorkomende" gevallen in de onset-distributies, waarbij de afwezigheid ervan als informatieve data wordt behandeld.

Belangrijkste Resultaten

Emergentie van Latente Inferentie: In de Implicit groep stijgt het percentage vermeldingen van nationaliteit in de AV-verklaringen monotoon over de kwartielen (van 0.10 in Q1 naar 0.78 in Q4), wat het context-accumulatiehypothese ondersteunt.
Colombia-specifieke Bevindingen: Wanneer de analyse wordt beperkt tot Colombia-specifieke vermeldingen (exclusief confabulaties van Spanje, Turkije of Canada), blijft de Neutrale controlegroep op 0.00 over alle kwartielen. In tegen respect vertoont de Implicit groep een stijging in Colombia-specifieke vermeldingen vanaf Q2 (0.10) en een toename door Q4 heen.
Timing van Representatie: Hoewel het gemiddelde kwartiel van de eerste vermelding vergelijkbaar is tussen groepen (ongeveer Q3) voor prompts die een vermelding triggeren, verschilt de frequentie waarmee een vermelding wordt getriggerd. De Expliciete groep triggert een vermelding in 10/10 gevallen, de Impliciete in 8/10, en de Neutrale in 6/10.
Statistische Significantie: Een Fisher's exact test die de Implicit- versus de Neutrale groepen vergelijkt, onthult een statistisch significant verschil alleen bij het laatste kwartiel (Q4, $p=0.023$ ). De auteurs interpreteren dit als directioneel bewijs in plaats van een bevestigend effect vanwege de kleine steekproefomvang en het gebrek aan correctie voor meervoudige vergelijkingen.
Cross-linguale Divergentie: Kwalitatieve analyse van neutrale prompts laat zien dat de interne representaties van het model divergeren per taal. Spaanse prompts triggeren vaak aannames van migratiekwetsbaarheid of lokale contexten (bijv. EPS, TransMilenio), terwijl Engelse prompts de context de neiging hebben te internationaliseren (bijv. verschuiving naar Canadese of Amerikaanse equivalenten) of specifieke culturele referenties verdunnen tot generieke globale kaders.

Bijdragen en Claims
Het artikel doet de volgende bescheiden claims met betrekking tot de bijdragen:

Methodologische Toepassing: Het demonstreert de toepassing van Natural Language Autoencoders om te zoeken naar latente nationaliteitsinferenties in Spaanse varianten, waarmee het eerdere werk dat zich richtte op andere talen uitbreidt.
Bewijs van Onverbaalde Inferentie: Het levert directioneel bewijs dat Qwen2.5-7B-Instruct intern een Colombiaanse identiteit representeert vanuit een enkele impliciete lexicale cue, nog voordat deze identiteit wordt geverbaliseerd in de output van het model.
Identificatie van Foutmodi: De studie belicht een specifieke foutmodus van NLA's waarbij ze plausibele maar contextueel onjuiste nationaliteiten confabuleren (bijv. het vervangen van Colombia door Spanje). De auteurs stellen een specifieke filteringsmechanisme voor (het controleren op Colombia-specifieke metoniemen) om dit in toekomstige regionale-identiteitsprobes te mitigeren.
Taalspecifieke Bias: Het biedt kwalitatief bewijs dat de interne contextualisering van het model bij neutrale prompts sterk taalafhankelijk is, waarbij Spaans lokale/migratie-biases triggert en Engels internationaliseerde of VS-centrische normalisaties.

Significantie
De auteurs positioneren dit werk als een pilotstudie die de brug slaat tussen interpretability op activatieniveau en bias-evaluatie voor ondervertegenwoordigde Spaanse varianten. Zij beweren niet een definitief, statistisch krachtig effect te hebben bewezen, maar hebben wel een methodologische weg geëtabliceerd om te detecteren wanneer en hoe latente inferenties ontstaan. De significantie ligt in de observatie dat bias voortduurt in gecontextualiseerde representaties, zelfs wanneer expliciete demografische vragen worden geweigerd, en dat deze inferenties gelokaliseerd kunnen worden naar specifieke lagen en positionele kwartielen met behulp van ongesuperviseerde verbalizers. De auteurs concluderen dat de volgende noodzakelijke stap is om dit ontwerp te repliceren met grotere steekproeven en over meerdere residual-stream lagen om te bepalen of de geobserveerde late-kwartiel scheiding een eigenschap is van de specifieke geteste diepte of een algemeen fenomeen.

Het Experiment: Een spelletje "Raad wie ik ben?"

De Bevindingen: Het Geheime Gefluister van de Robot

Hoe zeker zijn ze?

Het Grote Plaatje

Meer zoals dit