💬 NLP

Production and Perception in LLMs: A Token Probability Approach

Diese Studie zeigt, dass große Sprachmodelle eine ausgeprägte Produktions-Perzeptions-Asymmetrie in ihren Token-Wahrscheinlichkeitsverteilungen aufweisen, wobei allein das Prompt-Framing signifikant unterschiedliche Likelihoods für generierten Text im Vergleich zu reevaluiertem Text induziert, ein Phänomen, das sich über diverse Modellarchitekturen hinweg repliziert und mit zunehmendem Sequenzkontext abnimmt.

Ursprüngliche Autoren: Anna Marklová, Jiří Milička, Martina Vokáčová, Rudolf Rosa

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anna Marklová, Jiří Milička, Martina Vokáčová, Rudolf Rosa

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Poeten. Sie bitten ihn, ein Gedicht über einen Igel zu schreiben, und er tut es. Aber hier ist der Clou: Dieser Roboter „denkt“ und „spricht“ nicht einfach wie ein Mensch. Er nutzt exakt dieselben Gehirnschaltkreise, um das zu lesen, was Sie geschrieben haben, und um seine eigenen Worte zurückzuschreiben. Es ist wie eine Einbahnstraße, auf der das Auto in beide Richtungen mit demselben Motor fährt.

Aufgrund dessen fragten sich Wissenschaftler: Hat dieser Roboter tatsächlich einen Unterschied zwischen dem „Schreiben“ eines Gedichts und dem „Lesen“ eines Gedichts? Oder ist es einfach derselbe Prozess in umgekehrter Reihenfolge?

Die große Entdeckung: Der „Rollenspiel“-Effekt

Die Forscher fanden heraus: Ja, der Roboter verhält sich tatsächlich anders, aber nicht, weil er Gefühle oder Absichten hat. Er ändert sein Verhalten basierend auf dem Prompt – der spezifischen Art und Weise, wie man ihn zu etwas auffordert.

Stellen Sie sich den Roboter wie einen Method-Actor vor.

Szenario A (Produktion): Sie sagen: „Bitte schreibe ein Gedicht über einen Igel.“ Der Roboter setzt den „Schreiber“-Hut auf. Er beginnt, Wörter zu generieren, und weist jedem Wort, das er wählt, ein gewisses Maß an Zuversicht (Wahrscheinlichkeit) zu.
Szenario B (Perzeption): Sie nehmen exakt dasselbe Gedicht, das der Roboter gerade geschrieben hat, und sagen: „Hier ist ein Gedicht über einen Igel. Bitte bewerte es.“ Der Roboter setzt den „Leser/Kritiker“-Hut auf. Er generiert keine neuen Wörter; stattdessen bewertet er die Wörter neu, die er gerade gesehen hat.

Die Studie untersuchte, wie sehr sich die „Zuversicht“ des Roboters bei jedem Wort zwischen diesen beiden Szenarien veränderte.

Das Ergebnis: Als der Roboter vom „Schreibmodus“ in den „Lesemodus“ wechselte, verschob sich seine Zuversicht in den Wörtern signifikant. Der Unterschied war gewaltig. Tatsächlich war die Lücke zwischen der Art und Weise, wie der Roboter das Gedicht „schrieb“, und der Art und Weise, wie er es „las“, etwa 1,8 Mal größer als die Lücke zwischen zwei verschiedenen Arten, ihn zum Schreiben eines Gedichts aufzufordern.

Um es in Zahlen auszudrücken:

Wenn der Roboter gebeten wurde, auf zwei leicht unterschiedliche Arten zu schreiben (z. B. „Schreibe ein Gedicht“ vs. „Ich möchte, dass du ein Gedicht schreibst“), war der Unterschied in seinen Wortwahlen winzig (etwa 0,010).
Aber als er vom Schreiben zum Lesen wechselte, sprang der Unterschied auf 0,034.

Dies deutet darauf darauf hin, dass allein die Änderung des „Rahmens“ der Anfrage – dem Roboter zu sagen, er solle ein Schöpfer oder ein Kritiker sein – ausreicht, um seine interne Mathematik anders arbeiten zu lassen, obwohl er für beide Aufgaben dieselben Gehirnteile verwendet.

Was der Roboter NICHT tut

Das Paper ist sich sehr klar darüber, was dies nicht ist.

Es liegt nicht daran, dass der Roboter plötzlich menschliche Absichten oder eine Seele erlangt hat. Der Roboter „will“ weder schreiben noch lesen.
Es liegt nicht daran, dass der Roboter bei einer der Aufgaben besser ist als bei der anderen.
Es ist nicht nur ein Fehler, der durch die spezifischen Wörter im Prompt verursacht wird. Die Forscher testeten dies, indem sie vier verschiedene Wege nutzten, um nach einem Gedicht zu fragen, und drei verschiedene Wege, um eine Bewertung einzufordern. Der Effekt trat jedes Mal auf, ungeachtet der Formulierung der Anfrage.

Die „Erster-Eindruck“-Regel

Es gibt noch ein weiteres interessantes Detail darüber, wann dies geschieht. Der Unterschied zwischen „Schreiben“ und „Lesen“ ist am Anfang des Gedichts am stärksten.

Stellen Sie sich vor, der Prompt ist eine laute Stimme, die am Start eines Rennens Anweisungen brüllt.

Am Anfang (Token 1–10): Die „Leser“-Stimme ist sehr laut, und die Zuversicht des Roboters verschiebt sich stark.
Während das Gedicht voranschreitet: Der Roboter beginnt, seine eigenen Worte zu lesen. Die Geschichte, die er erzählt (der Kontext), beginnt, die ursprüngliche Anweisung zu übertönen. Der Unterschied zwischen dem „Schreiber“- und dem „Leser“-Modus wird immer kleiner, je länger das Gedicht wird.

Die Forscher modellierten diesen Abfall und fanden heraus, dass der anfängliche „Schock“ des Prompts verblasst, aber selbst am Ende noch ein winziger Rest eines Unterschieds bestehen bleibt.

Wie sicher sind sie sich?

Das Team hat nicht nur geraten; sie haben die Zahlen für 1.089 verschiedene Gedichte (etwa 93.000 Wörter insgesamt) mit fünf verschiedenen Robotermodellen (darunter Llama-3.1-8B, EuroLLM-9B und andere) berechnet.

Sie fanden den Effekt in allen fünf Modellen, sowohl in den „rohen“ Basismodellen als auch in den Modellen, die darauf trainiert wurden, hilfreiche Assistenten zu sein.
Der Unterschied war so konsistent, dass sich die Ergebnisbereiche für „Schreiben“ und „Lesen“ überhaupt nicht überschnitten.

Die Autoren sind jedoch vorsichtig und sagen, dass dies darauf hindeutet, dass ein funktionaler Unterschied besteht, nicht dass der Roboter einen menschlichen Geist besitzt. Sie merken an, dass der Unterschied zwar statistisch real und messbar ist, wir aber noch nicht wissen, ob er „groß genug“ ist, um zu bedeuten, dass der Roboter wirklich wie ein Mensch denkt, der zwischen Sprechen und Zuhören unterscheidet.

Das Fazit

Diese Studie zeigt, dass Large Language Models zwar einen einzigen, symmetrischen Motor für sowohl Lesen als auch Schreiben verwenden, die Art und Weise, wie man mit ihnen spricht, jedoch beeinflusst, wie sie die Wörter verarbeiten.

Wenn man dem Roboter sagt, er sei ein Poet, denkt er auf eine bestimmte Weise. Wenn man ihm sagt, er sei ein Kritiker, denkt er auf eine andere Weise. Es ist ein wenig wie ein Chamäleon: Die internen „Farben“ des Roboters (seine Wahrscheinlichkeitsverteilungen) verschieben sich, um sich an die Rolle anzupassen, die man ihm gibt. Dies beweist, dass der Kontext des Gesprächs genauso wichtig ist wie die Wörter selbst.

Technisches Resümee: Produktion und Perzeption in LLMs: Ein Ansatz über Token-Wahrscheinlichkeiten

Problemstellung
In der menschlichen Psycholinguistik existiert eine gut dokumentierte Asymmetrie zwischen Sprachproduktion (Kodierung einer Nachricht mit einer Intention) und Perzeption (Ableitung von Bedeutung aus einem Kontext). Es bleibt jedoch unklar, ob Large Language Models (LLMs) eine funktional analoge Unterscheidung aufweisen. Im Gegensatz zu früheren Encoder-Decoder-Architekturen, die separate Pfade für Input und Output beibehielten, verlassen sich zeitgenössische Decoder-only-LLMs auf einen einzigen zugrunde liegenden Mechanismus – die Next-Token-Prediction – sowohl für die Verarbeitung des Inputs als auch für die Generierung des Outputs. Diese architektonische Symmetrie legt nahe, dass LLMs möglicherweise keine fundamentale Produktions-Perzeptions-Unterscheidung besitzen. Darüber hinaus haben frühere Verhaltensstudien, die versuchten, diese Unterscheidung mittels metalinguistischer Prompting-Verfahren (z. B. das Bewerten oder Beurteilen von Text durch das Modell) zu messen, inkonsistente Ergebnisse geliefert und oft nicht in der Lage gewesen, menschenähnliche Asymmetrien zu replizieren.

Methodik
Um diese Einschränkungen zu adressieren, schlagen die Autoren einen methodischen Wechsel vor: die Messung der Produktions-Perzeptions-Unterscheidung direkt durch Token-Wahrscheinlichkeitsverteilungen anstatt durch die Generierung metalinguistischer Urteile. Unter Berufung auf Hu und Levy (2023) argumentieren die Autoren, dass die durch Prompting hervorgerufenen evaluativen Antworten von den zugrunde liegenden Wahrscheinlichkeiten des Modells abweichen; daher bietet die direkte Wahrscheinlichkeitsmessung ein saubereres Signal des internen Zustands des Modells.

Das experimentelle Design umfasst die folgenden Schritte:

Generierung: Ein Basismodell (Llama-3.1-8B) generiert eine Sequenz von Tokens (Gedichte über 1.089 Tier-Themen) unter einem primären Produktions-Prompt (z. B. „Bitte schreibe ein Gedicht über X“). Die Token-Wahrscheinlichkeiten ( $p_0$ ) werden während dieser Generierung aufgezeichnet.
Re-Scoring (Kontrolle): Dieselbe generierte Token-Sequenz wird unter einem umformulierten Produktions-Prompt (z. B. „Ich möchte, dass du ein Gedicht über X schreibst“) Token für Token neu bewertet. Dies liefert die Wahrscheinlichkeiten ( $p_1$ ) für die Produktions-Produktions (prod-prod)-Bedingung.
Re-Scoring (Experimentell): Dieselbe generierte Token-Sequenz wird unter einem perzeptionsorientierten Prompt (z. B. „Hier ist ein Gedicht über X, bitte bewerte es“) neu bewertet. Dies liefert die Wahrscheinlichkeiten ( $p_2$ ) für die Produktions-Perzeptions (prod-perc)-Bedingung.
Analyse: Die Studie quantifiziert die Divergenz zwischen $p_0$ $p_{0}$ und $p_1$ $p_{1}$ im Vergleich zu $p_0$ $p_{0}$ und $p_2$ $p_{2}$ mittels:
- Per-Gedicht-Pearson-Korrelationen.
- Per-Gedicht-mittlerer absoluter Distanz ( $|p_0 - p_1|$ vs. $|p_0 - p_2|$ ).
- Temporaler Analyse, die den Zerfall dieser Distanzen über die ersten 100 Tokens mittels einer exponentiellen Zerfallsfunktion ( $y = ae^{-bx} + c$ ) modelliert.

Das Experiment wurde über mehrere Prompt-Variationen (4 Produktions-Prompts, 3 Perzeptions-Prompts) repliziert und auf vier zusätzliche Open-Weight-Modelle ausgeweht (EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3 und Qwen2.5-7B-Instruct), wobei sowohl Base- als auch Instruction-tuned-Varianten berücksichtigt wurden.

Kernergebnisse

Systematische Divergenz: Die Studie findet eine konsistente und substanzielle Divergenz in den Token-Wahrscheinlichkeiten, wenn sich das Framing von Produktion zu Perzeption verschiebt. Die mittlere absolute Distanz in der prod-perc-Bedingung ist etwa 1,8-mal größer als in der prod-prod-Bedingung beim primären Modell (Llama-3.1-8B), mit nicht-überlappenden 95%-Konfidenzintervallen.
Spezifität des Framings: Die prod-prod-Kontrollbedingung zeigt nahezu Decken-Korrelationen, was darauf hindeutet, dass eine einfache Umformulierung des Prompts die Wahrscheinlichkeiten nicht signifikant verändert. Die beobachtete Divergenz ist spezifisch für den Wechsel des kommunikativen Framings (Produzent vs. Interpret).
Temporale Dynamik: Der Effekt ist zu Beginn der Sequenz am stärksten. Die Divergenz nimmt mit zunehmendem generiertem Kontext ab und folgt einem exponentiellen Zerfallsmuster. Dennoch ist die initiale Magnitude der Divergenz in der prod-perc-Bedingung etwa 8-mal größer als in der prod-prod-Bedingung, und die Kurven konvergieren innerhalb des 100-Token-Fensters für alle Modelle nicht vollständig.
Generalisierbarkeit: Die Asymmetrie repliziert sich über alle fünf getesteten Modelle hinweg (sowohl Base als auch Instruction-tuned), wobei die prod-perc-Distanzen die prod-prod-Distanzen um Faktoren von 1,53× bis 2,11× übersteigen. Dies deutet darauf hin, dass der Effekt kein Artefakt einer spezifischen Modellarchitektur oder des Fehlens von Alignment (RLHF) ist.

Bedeutung und Ansprüche
Die Arbeit stellt mehrere bedeutende Erkenntnisse auf:

Funktionale Unterscheidung in Decoder-only-Architekturen: Trotz des gemeinsamen Parameter- und Decoder-only-Designs, das theoretisch separate Produktions- und Perzeptionspfade ausschließt, reicht das Prompt-Framing allein aus, um eine funktional bedeutsame Asymmetrie in den Wahrscheinlichkeitsverteilungen zu induzieren. Dies stellt die Annahme infrage, dass LLMs die Verarbeitung von Input und Output in allen Kontexten identisch behandeln.
Methodische Validierung: Die Studie validiert die Verwendung direkter Token-Wahrscheinlichkeitsmessungen gegenüber metalinguistischem Prompting zur Untersuchung kognitionsähnlicher Unterscheidungen in LLMs. Durch das Vermeiden der Generierung von evaluativem Text isoliert die Methode den Effekt des Framings auf die internen Repräsentationen des Modells, ohne dies mit der Fähigkeit des Modells zu verwechseln, „über“ Sprache zu sprechen.
Robustheit des Effekts: Die Produktions-Perzeptions-Unterscheidung ist kein Artefakt spezifischer Prompt-Formulierungen oder einer einzelnen Modellfamilie; sie bleibt über verschiedene Modellgrößen, Architekturen (Base vs. Instruction-tuned) und Prompt-Kombinationen hinweg bestehen.

Limitierungen
Die Autoren merken an, dass die Studie auf den Bereich von 7–9 Milliarden Parametern und eine einzige kreative Domäne (Poesie) beschränkt ist. Sie räumen ein, dass zwar ein statistisch zuverlässiger Unterschied besteht, die Größenordnung dieses Unterschieds im Verhältnis zum menschlichen Verhalten jedoch eine offene interpretative Frage bleibt. Zudem wurde in der Studie die Wahrscheinlichkeit der finalen Schicht verwendet; zukünftige Arbeiten könnten untersuchen, ob diese Divergenz über die internen Schichten hinweg gleichmäßig ist oder an spezifischen Tiefen konzentriert ist.