💬 NLP

Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

Diese Pilotstudie nutzt Natural Language Autoencoder, um die internen Aktivierungen von Qwen2.5-7B-Instruct zu analysieren, wobei aufgezeigt wird, dass das Modell kolumbianische Identität und damit verbundene Stereotypen bereits aus subtilen linguistischen Hinweisen in spanischen und englischen Prompts erschließt, bevor es den expliziten Output generiert.

Ursprüngliche Autoren: Pablo Santiago Potes Velasco, María del Mar García Matabanchoy, Óscar Julián Pérez Ladino, Jhoan Stevan Mosquera Ortiz, Nicolás Lozano Mazuera, Gilber Alexis Corrales Gallego

Veröffentlicht 2026-07-27

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pablo Santiago Potes Velasco, María del Mar García Matabanchoy, Óscar Julián Pérez Ladino, Jhoan Stevan Mosquera Ortiz, Nicolás Lozano Mazuera, Gilber Alexis Corrales Gallego

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sprechen mit einem superintelligenten Roboter, der fast alles im Internet gelesen hat. Man könnte denken, dieser Roboter wisse nur das, was Sie ihm sagen. Aber was wäre, wenn der Roboter eigentlich versucht zu erraten, wer Sie sind, basierend auf winzigen, unsichtbaren Hinweisen in Ihrer Stimme oder den Worten, die Sie wählen? Dies ist die Welt der Großen Sprachmodelle (Large Language Models, LLMs). Dies sind die KI-Gehirne hinter Chatbots und Suchwerkzeugen. Wissenschaftler haben entdeckt, dass diese Modelle nicht nur Wörter verarbeiten; sie erstellen ein geheimes „Profil“ der Person, mit der sie sprechen, und erraten Dinge wie deren Nationalität oder sozialen Hintergrund, selbst wenn man diese nie erwähnt.

Um in das Gehirn dieses Roboters hineinzublicken, verwenden Forscher ein spezielles Werkzeug namens Natural Language Autoencoder (NLA). Stellen Sie sich das Gehirn des Roboters wie eine riesige, dunkle Fabrik vor, in der Informationen durch Rohre fließen. Der NLA ist wie eine magische Taschenlampe, die auf ein bestimmtes Rohr leuchten und die durch es fließenden elektrischen Signale in einfache englische Sätze übersetzen kann. Er lässt uns den „inneren Monolog“ des Roboters hören, bevor er tatsächlich seine endgültige Antwort tippt. Das ist wichtig, denn wenn ein Roboter die falschen Dinge über Sie errät – wie zum Beispiel anzunehmen, Sie kämen aus einem anderen Land, oder Stereotypen erfindet – könnte er Ihnen schlechten Rat geben oder Sie unfair behandeln, während er gleichzeitig vorgibt, neutral zu sein.

Ein Team von Forschern aus Kolumbien entschied sich, dies an einem populären Roboter namens Qwen2.5-7B zu testen. Sie wollten wissen: Errät der Roboter heimlich, dass ein Nutzer Kolumbianer ist, nur durch einen einzigen subtilen Hinweis, selbst wenn der Nutzer niemals sagt: „Ich bin Kolumbianer“?

Hier ist, was sie getan haben und was sie herausgefunden haben.

Das Experiment: Ein Spiel wie „Wer bin ich?“

Die Forscher gestalteten ein kluges Spiel mit 30 verschiedenen Gesprächseinstiegen (Prompts). Diese teilten sie in drei Gruppen auf:

Die „Offensichtliche“ Gruppe: Prompts, die klar sagten, dass der Nutzer Kolumbianer war (wie die Erwähnung eines spezifischen kolumbianischen Bussystems).
Die „Subtile“ Gruppe: Prompts mit nur einem winzigen, versteckten Hinweis, der vielleicht auf Kolumbien hindeuten könnte (wie eine bestimmte Art von Suppe oder der Name eines lokalen Studienkredits), aber nichts Explizites über „Kolumbien“ sagte.
Die „Neutrale“ Gruppe: Prompts, die über dieselben Themen handelten, aber keinerlei kolumbianische Hinweise enthielten (wie die Frage nach einer generischen Suppe oder einem generischen Bus).

Sie stellten dem Roboter diese Fragen sowohl auf Spanisch als auch auf Englisch. Dann verwendeten sie ihre „magische Taschenlampe“ (den NLA), um in das Gehirn des Roboters zu vier verschiedenen Zeitpunkten während seines Denkprozesses (genannt „Quartile“) zu schauen. Sie wollten sehen, ob die inneren Gedanken des Roboters begannen, Dinge wie „Dieser Mensch ist Kolumbianer“ zu sagen, bevor er dies tatsächlich in seine endgültige Antwort schrieb.

Die Ergebnisse: Das geheime Flüstern des Roboters

Die Ergebnisse waren eine Mischung aus „Aha!“-Momenten und „Ups!“-Momenten.

1. Subtile Hinweise funktionieren (schließlich)
Als die Forscher dem Roboter die „subtilen“ Prompts gaben, begannen die inneren Gedanken des Roboters, zu erraten, dass der Nutzer Kolumbianer sei. Es geschah jedoch nicht sofort.

In der allerersten Phase des Denkens (Quartil 1) erwähnte die innere Stimme des Roboters Kolumbien 0 % der Zeit.
Bis zum dritten Moment (Quartil 3) begann die innere Stimme des Roboters, „Kolumbien“ etwa 20 % der Zeit zu erwähnen.
Bis zum letzten Moment (Quartil 4) stieg diese Zahl auf fast 78 %, wenn man alle Nationalitätsraten mitzählte, aber als die Forscher die W Kombinationen für andere Länder (wie Spanien oder die Türkei) herausfilterten und nur auf kolumbienspezifische Erwähnungen blickten, lag die Rate tatsächlich bei 0,11 (etwa 11 %).

Dies deutet darauf hin, dass der Roboter ein wenig Zeit braucht, um seine Gedanken zu ordnen. Er beginnt ohne eine spezifische kolumbianische Identität im Sinn, und während er mehr von dem Satz verarbeitet, beginnt er, diese spezifische Vermutung zu bilden, obwohl er Kolumbien gelegentlich noch mit anderen Nationen verwechselt.

2. Das „Fake News“-Problem
Hier wird es knifflig. Die Forscher bemerkten, dass die Taschenlampe des Roboters manchmal zeigte, dass er über ein Land nachdachte, es aber das falsche Land war. Zum Beispiel dachte der Roboter bei einer Frage zu einem kolumbianischen Thema vielleicht intern: „Oh, das handelt von Spanien“ oder „Das handelt von der Türkei“.
Die Forscher mussten sehr vorsichtig sein. Sie erkannten, dass der Roboter gut darin war, „ein Land“ zu erraten, aber nicht immer gut darin, spezifisch „Kolumbien“ zu erraten. Als sie diese falschen Vermutungen herausfilterten, wurde das Muster für die „subtile“ Gruppe noch klarer: Der Roboter bildete definitiv eine kolumbianische Identität in seinem Geist (Anstieg von 0 % auf etwa 11 %), während die „neutrale“ Gruppe (oh、ne Hinweise) bei 0 % für das Denken über Kolumbien spezifisch blieb.

3. Die „Offensichtliche“ Gruppe war seltsam
In der „offensichtlichen“ Gruppe, in der der kolumbianische Hinweis direkt im ersten Satz stand, war die innere Stimme des Roboters in der Mitte des Prozesses überraschend ruhig. Er begann erst ganz am Ende intensiv über Kolumbien zu sprechen. Die Forscher glauben, dass dies daran liegt, dass der Roboter durch seine Trainingsdaten verwirrt wurde oder durch andere Ideen abgelenkt wurde, bevor er sich auf die richtige Antwort festlegte.

Wie sicher sind sie sich?

Die Forscher sind vorsichtig damit, nicht gleich „Wir haben es gelöst!“ zu rufen. Sie bezeichnen dies als eine Pilotstudie, was so etwas wie ein Testlauf ist. Sie haben nur 5 Beispiele für jede Art von Hinweis getestet. Da die Anzahl sehr klein ist, können sie nicht mit 100-prozentiger Sicherheit sagen, dass dies jedes Mal so passiert.

Die Daten, die sie haben, deuten jedoch auf ein starkes Muster hin:

Der Roboter scheint die kolumbianische Identität aus einem einzigen subtilen Hinweis abzuleiten.
Diese Schlussfolgerung geschieht bevor der Roboter seine endgültige Antwort schreibt.
Der Roboter ist nicht perfekt; er verwechselt Kolumbien manchmal mit anderen Ländern, was ein bekannter Fehler in der Funktionsweise dieser Werkzeuge ist.

Das große Ganze

Dieses Paper beweist nicht, dass der Roboter auf eine Weise voreingenommen ist, die alles ruiniert, aber es zeigt, dass der Roboter auf Hinweise „hört“, die wir nicht für wichtig hielten. Es ist wie ein Detektiv, der beginnt, die Nationalität eines Verdächtigen anhand der Art und Weise zu erraten, wie er eine Tasse Kaffee hält, selbst wenn der Verdächtige kein Wort gesagt hat.

Die Forscher fanden heraus, dass bei kolumbianischem Spanisch die interne Vermutung des Roboters real ist, es aber einige Sekunden des Denkens braucht, um sich zu festigen. Sie fanden auch heraus, dass der Roboter oft den kolumbianischen Kontext völlig vergisst und ihn durch Ideen über Kanada oder Europa ersetzt, wenn man dieselbe Frage auf Englisch stellt. Dies zeigt uns, dass diese Roboter unterschiedliche Sprachen und Kulturen sehr unterschiedlich behandeln können, und dass wir weiterhin die Taschenlampe auf ihre Gehirne richten müssen, um sicherzustellen, dass sie keine Geschichten über uns erfinden.

Technisches Resümee: Sondierung latenter kolumbianischer Identitätsinferenzen in Qwen2.5-7B mittels Natural Language Autoencoders

Problemstellung
Große Sprachmodelle (LLMs) sind bekannt dafür, demografische Attribute – wie Nationalität, Dialekt und sozioökonomischen Status – aus subtilen linguistischen Hinweisen zu inferieren, selbst wenn diese Attribute nicht explizit genannt werden. Während instruktionsgesteuerte Modelle oft die Beantwortung expliziter demografischer Abfragen verweigern, konditionieren sie ihre Generierung dennoch auf inferierte Attribute, was zu verzerrten Ausgaben führt. Dieses Phänomen ist besonders ausgeprägt bei unterrepräsentierten spanischen Varietäten; das kolumbianische Spanisch erzielt beispielsweise in Erkennungs-Benchmarks signifikant niedrigere Werte als das spanische Kastilische, eine Disparität, die auf die Zusammensetzung der Trainingsdaten und nicht auf das Volumen digitaler Ressourcen zurückzuführen ist.

Trotz der Evidenz, dass demografische Inferenzen stattfinden, mangelt es an Forschung, die untersucht, was Modelle intern repräsentieren, bevor sie eine Ausgabe verbalisieren. Insbesondere ist unbekannt, ob Modelle eine kolumbianische Identität aus impliziten Hinweisen auf die gleiche Weise inferieren, wie sie bereits gezeigt haben, dass sie andere Nationalitäten (z. B. Russisch) vor dem Auftreten jeglicher lexikalischer Evidenz im Prompt inferieren. Diese Studie adressiert die Lücke zwischen Linear-Probe-Studien (die zeigen, dass demografische Inferenz existiert) und Bias-Audit-Studien (die den Schaden einer solchen Inferenz aufzeigen), mit dem Ziel, zu lokalisieren, wann eine kolumbianische Identitätsinferenz aus indirekten Hinweisen entsteht, unter Verwendung eines unüberwachten, trainingsfreien Ansatzes.

Methodik
Die Autoren verwenden Natural Language Autoencoders (NLA), spezifisch das Open-Source-Paar, das von Fraser-Taliente et al. [2026] veröffentlicht wurde, um die Aktivierungen des Residual-Streams zu verbalisieren. Die Studie nutzt das Modell Qwen2.5-7B-Instruct.

Datendesign: Der Datensatz besteht aus 30 Prompts, die in 15 passenden Spanisch-Englisch-Paaren angeordnet sind. Diese sind in drei Explizititätsstufen kategorisiert ( $n=5$ $n = 5$ pro Stufe):
- Explizit: Enthält eindeutige kolumbianische Marker (Positivkontrolle).
- Implizit: Enthält genau einen subtilen Hinweis (analog zum „Vodka“ $\to$ „Russisch“-Fall in vorangegangener Arbeit).
- Neutral: Topisch passend, aber ohne nationale Marker (Negativkontrolle).
Extraktion der Aktivierungen: Die Autoren extrahieren die Residual-Stream-Aktivierungen aus Schicht 20 ( $\ell=20$ ), der Tiefe, für die der NLA trainiert wurde. Für jeden Prompt wird die Token-Sequenz in vier zusammenhängende Positions-Quartile unterteilt. Die finale Token-Aktivierung jedes Quartils ( $q_1, q_2, q_3, q_4$ ) wird ausgewählt, was vier distinkte Vektoren pro Prompt ergibt.
Verbalisierung: Jeder Aktivierungsvektor wird einmal an den Verbalizer (AV) des NLA übergeben, um eine natürliche sprachliche Erklärung ( $z_k$ ) zu generieren. Dies ergibt vier Erklärungen pro Prompt.
Analyse: Die 120 resultierenden Erklärungen (30 Prompts $\times$ 4 Quartile) werden durch ein LLM (Claude Sonort) auf Erwähnungen von Nationalität, sozioökonomischem Status und Stereotypen kodiert. Die Kodierung erfordert strikt explizite textuelle Evidenz und wörtliche Zitate. Um zwischen allgemeiner Nationalitäts-Konfabulation und spezifischer kolumbianischer Identität zu unterscheiden, taggen die Autoren Erwähnungen, die explizit Kolumbien oder eindeutige Metonymien (z. B. Bogotá, TransMilenio) nennen.
Statistischer Ansatz: Angesichts der kleinen Stichprobengröße ( $n=5$ pro Zelle) berichten die Autoren deskriptive Raten mit Wilson-Score-Intervallen und verwenden den exakten Fisher-Test für den Vergleich von Implizit vs. Neutral. Sie vermeiden es, Fälle, die „nie auftreten“, in Onset-Verteilungen zu imputieren, und behandeln deren Abwesenheit als informative Daten.

Kernergebnisse

Emergenz latenter Inferenz: In der Impliziten Gruppe steigt die Rate der Nationalitätserwähnungen in den AV-Erklärungen monoton über die Quartile an (von 0,10 in Q1 bis zu 0,78 in Q4), was die Hypothese der Kontextakkumulation stützt.
Kolumbienspezifische Befunde: Bei der Beschränkung der Analyse auf kolumbienspezifische Erwähnungen (unter Ausschluss von Konfabulationen von Spanien, der Türkei oder Kanada) bleibt die Neutrale Kontrollgruppe über alle Quartile hinweg bei 0,00. Im Gegensatz dazu zeigt die Implizite Gruppe einen Anstieg kolumbienspezifischer Erwähnungen ab Q2 (0,10) und eine Steigerung bis Q4.
Zeitpunkt der Repräsentation: Während das mittlere Quartil der Erstnennung über Gruppen hinweg vergleichbar ist (ca. Q3) für Prompts, die eine Nennung triggern, unterscheidet sich die Frequenz des Triggerns einer Nennung. Die Explizite Gruppe triggert eine Nennung in 10/10 Fällen, die Implizite in 8/10 und die Neutrale in 6/10.
Statistische Signifikanz: Ein exakter Fisher-Test, der die Gruppen Implizit vs. Neutral vergleicht, zeigt einen statistisch signifikanten Unterschied nur im finalen Quartil (Q4, $p=0,023$ ). Die Autoren interpretieren dies als richtungsweisenden Hinweis statt als bestätigenden Effekt aufgrund der kleinen Stichprobengröße und des Fehlens einer Korrektur für multiples Testen.
Sprachspezifische Divergenz: Eine qualitative Analyse der neutralen Prompts zeigt, dass die internen Repräsentationen des Modells sprachabhängig divergieren. Spanische Prompts triggern oft Annahmen von Migrationsvulnerabilität oder lokalen Kontexten (z. B. EPS, TransMilenio), während englische Prompts dazu neigen, den Kontext zu internationalisieren (z. B. Verschiebung zu kanadischen oder US-amerikanischen Äquivalenten) oder spezifische kulturelle Referenzen in generische globale Rahmenwerke aufzulösen.

Beiträge und Ansprüche
Das Paper stellt die folgenden bescheidenen Ansprüche bezüglich seiner Beiträge:

Methodische Anwendung: Es demonstriert die Anwendung von Natural Language Autoencoders zur Untersuchung latenter Nationalitätsinferenzen in spanischen Varietäten und erweitert damit die bisherige Arbeit, die sich auf andere Sprachen konzentrierte.
Evidenz für unverzialisierte Inferenz: Es liefert richtungsweisende Evidenz dafür, dass Qwen2.5-7B-Instruct intern eine kolumbianische Identität aus einem einzigen impliziten lexikalischen Hinweis repräsentiert, bevor diese Identität in der Ausgabe des Modells verbalisiert wird.
Identifizierung von Fehlermodi: Die Studie hebt einen spezifischen Fehlermodus von NLAs hervor, bei dem sie plausible, aber kontextuell falsche Nationalitäten konfabulieren (z. B. Ersetzung von Spanien für Kolumbien). Die Autoren schlagen einen spezifischen Filtermechanismus vor (Prüfung auf kolumbienspezifische Metonymien), um dies in zukünftigen regionalen Identitäts-Probes zu mildern.
Sprachspezifischer Bias: Es bietet qualitative Evidenz dafür, dass die interne Kontextualisierung des Modells in neutralen Prompts stark sprachabhängig ist, wobei Spanisch lokale/migratorische Biases triggert, während Englisch eine internationalisierte oder US-zentrierte Normalisierung bewirkt.

Bedeutung
Die Autoren positionieren diese Arbeit als Pilotstudie, die die Interpretierbarkeit auf Aktivierungsebene mit der Bias-Evaluierung für unterrepräsentierte spanische Varietäten verbindet. Sie behaupten nicht, einen definitiven, statistisch belastbaren Effekt bewiesen zu haben, sondern haben einen methodischen Weg etabliert, um zu detektieren, wann und wie latente Inferenzen entstehen. Die Bedeutung liegt in der Beobachtung, dass Bias in kontextualisierten Repräsentationen fortbesteht, selbst wenn explizite demografische Abfragen abgelehnt werden, und dass diese Inferenzen mittels unüberwachter Verbalisierer auf spezifische Schichten und Positionsquartile lokalisiert werden können. Die Autoren schließen, dass der nächste notwendige Schritt darin besteht, dieses Design mit größeren Stichproben und über mehrere Residual-Stream-Schichten hinweg zu replizieren, um zu bestimmen, ob die beobachtete Trennung im späten Quartil eine Eigenschaft der getesteten Tiefe oder ein allgemeines Phänomen ist.

Das Experiment: Ein Spiel wie „Wer bin ich?“

Die Ergebnisse: Das geheime Flüstern des Roboters

Wie sicher sind sie sich?

Das große Ganze

Mehr davon