💬 NLP

Validity of LLMs as data annotators: AMALIA on authority

Diese Arbeit zeigt auf, dass Portugals nationales Sprachmodell AMALIA zwar eine hohe Übereinstimmung mit menschlichen Codierern hinsichtlich der moralischen Grundlage von Autorität erzielt, jedoch mangelnde Konstruktvalidität aufweist, da es auf oberflächlichen Abkürzungen anstatt auf theoretischer Argumentation basiert, was die Notwendigkeit nationaler LLM-Benchmarks unterstreicht, um die evidenzielle Basis der Modellleistung über die bloße Übereinstimmung hinaus zu bewerten.

Ursprüngliche Autoren: Manuel Pita

Veröffentlicht 2026-07-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Manuel Pita

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen neuen, superintelligenten Roboter namens AMALIA. Es ist Portugals eigener Sprachroboter, der mit öffentlichen Geldern entwickelt wurde, um europäisches Portugiesisch besser zu verstehen und zu sprechen als jeder andere. Die große Hoffnung war, dass AMALIA als super-schnelle, super-günstige menschliche Assistentin für Forscher fungieren könnte. Speziell wollten Wissenschaftler sie nutzen, um tausende von Social-Media-Posts zu lesen und herauszufinden, ob Menschen über „Autorität“ sprechen – ein kniffliger Begriff, der nicht nur bedeutet, das Wort „Chef“ oder „Polizei“ zu verwenden, sondern davon handelt, ob jemand die Regeln der Hierarchie respektiert oder herausfordert.

Hier kommt der Clou: AMALIA ist großartig darin, die richtige Antwort zu erraten, aber sie ist schrecklich darin, ihren Rechenweg aufzuzeigen.

Das Problem: „Richtige Antwort, falscher Grund“

Denken Sie an AMALIA wie an einen Schüler, der eine Mathearbeit schreibt.

Das Ziel: Der Lehrer fragt: „Löse nach X unter Verwendung dieser spezifischen Formel auf.“
Das Ergebnis: AMALIA schreibt die richtige Zahl für X auf.
Der Haken: Wenn der Lehrer fragt: „Zeig mir deine Rechenschritte“, kann AMAL-IA das nicht. Anstatt die Formel zu benutzen, hat sie die Antwort einfach erraten, weil sie ein Muster erkannt hat, wie zum Beispiel: „Oh, das Wort ‚Chef‘ steht im Satz, also muss die Antwort ‚Autorität‘ sein.“

In der realen Welt ist das gefährlich. Wenn ein Roboter in 90 % der Fälle mit menschlichen Experten übereinstimmt, sagen wir normalerweise: „Großartig! Wir können ihm vertrauen!“ Aber dieses Paper argumentiert, dass diese Übereinstimmung bei AMALIA ein Trugschluss ist. Es ist wie ein Papagei, der lernt, „Ich liebe dich“ zu sagen, wann immer er ein menschliches Lächeln sieht. Der Papagei empfindet keine Liebe; er passt lediglich das Lächeln dem Satz zu. AMALIA hat Oberflächenreize (wie das Sehen eines Polizisten oder das Hören von Wut) mit dem Label „Autorität“ verknüpft, anstatt tatsächlich die komplexe Theorie von Macht und Respekt zu verstehen, die die Forscher messen wollten.

Der „Black Box“-Test

Um dies zu beweisen, haben die Forscher AMALIA nicht nur die große Frage gestellt. Sie haben die Frage in winzige, einfache Teile zerlegt, wie ein Detektiv, der einen Fall in einzelne Indizien aufteilt.

Die große Frage: „Handelt dieser Text von Autorität?“
Die winzigen Indizien: „Erwähnt er eine Führungspersönlichkeit?“ „Beurteilt er das Verhalten dieser Führungspersönlichkeit?“ „Spricht er über Tradition?“

Wenn AMALIA das Konzept wirklich verstanden hätte, sollte sie das gleiche Ergebnis erzielen, egal ob man ihr die große Frage oder die winzigen Indizien stellt. Aber das tat sie nicht.

Als sie nach der großen Frage gefragt wurde, stimmte AMALIA in 71 % der Fälle mit menschlichen Experten überein.
Als sie nach den winzigen Indizien gefragt wurde und gezwungen war, die Teile zusammenzufügen, sank ihre Übereinstimmung auf nur 36 %.

Dieser enorme Abfall wird als „Recovery Gap“ (Wiederherstellungslücke) bezeichnet. Es ist wie ein Magier, der ein Kaninchen aus einem Hut zieht. Wenn man fragt: „Wo ist das Kaninchen?“ und der Magier zeigt auf den Hut, ist das gut. Aber wenn man fragt: „Zeig mir das Kaninchen im Inneren des Hutes“, und der Hut ist leer, erkennt man, dass der Magier nur einen Trick angewandt hat. Das Paper fand heraus, dass AMALIAS „Trick“ darin bestand, sich auf Oberflächen-Abkürzungen zu verlassen, wie etwa die Beobachtung von „moralischer Empörung“ in der Nähe einer mächtigen Person und die Annahme, es gehe um Autorität, selbst wenn dies nicht der Fall ist.

Der Vergleich mit „Größeren Robotern“

Die Forscher haben nicht nur AMALIA getestet; sie testeten zwei andere Roboter: Llama (einen mittelgroßen) und GPT-OSS (einen riesigen mit 120 Milliarden Parametern, verglichen mit AMALIAS 9 Milliarden).

Der riesige Roboter (GPT-OSS): Als er dieselben kniffligen Fragen auf Portugiesisch gestellt bekam, hatte er keine Lücke. Er lieferte die richtige Antwort und konnte seinen Rechenweg aufzeigen. Er verstand die Theorie.
Der mittelgroße Roboter (Llama): Er hatte eine kleine Lücke, verbesserte sich aber gerade.
AMALIA: Sie hatte eine massive Lücke.

Dies beweist, dass das Problem nicht die portugiesische Sprache oder die verwendeten Texte waren. Das Problem war die Größe und das Training des Modells. Das Paper legt nahe, dass AMALIA schlichtweg zu klein ist, um die komplexe „Körnigkeit“ der Theorie zu bewältigen. Es ist, als versuche man, einen Wolkenkratzer mit einem Hammer zu bauen, der für ein Vogelhäuschen gedacht ist; das Werkzeug ist einfach nicht groß genug für diese Aufgabe, selbst wenn es so aussieht, als würde es funktionieren.

Was das für nationale Roboter bedeutet

Das Paper schließt explizit einige populäre Ideen aus:

Es geht nicht um die Sprache: Obwohl AMALIA Portugals „Heimat-Roboter“ ist, schnitt sie nicht besser ab als die großen internationalen Roboter. Tatsächlich stimmten die großen Roboter häufiger mit Menschen überein als AMALIA.
Übereinstimmung allein reicht nicht aus: Nur weil ein Roboter mit Menschen übereinstimmt, bedeutet das nicht, dass er das Richtige misst. Er könnte lediglich Muster abgleichen.
Es ist kein Versagen der Schöpfer des Modells: Das Paper lobt AMALIA für ihre Offenheit und Transparenz. Das Problem ist, dass der aktuelle „Goldstandard“ für das Testen von Robotern (nur zu prüfen, ob sie mit Menschen übereinstimmen) fehlerhaft ist.

Das Faz-it

Ist AMALIA also nutzlos? Keineswegs! Das Paper sagt, dass AMALIA hervorragend für das Screening und die Vorkodierung geeignet ist. Sie kann einen riesigen Stapel Texte lesen und sagen: „Hey, das sieht interessant aus, Menschen sollten sich das mal ansehen.“ Sie ist ein großartiger erster Filter.

Aber kann sie komplexe Ideen wie „Autorität“ eigenständig messen? Nein. Noch nicht.
Das Paper kommt zu dem Schluss, dass wir, bevor wir einem nationalen Roboter vertrauen, um zu messen, was unsere Bürger denken und welche Werte sie haben, eine andere Frage stellen müssen. Wir sollten nicht nur fragen: „Stimmst du mit den Menschen überein?“ Wir müssen fragen: „Kannst du mir deinen Rechenweg zeigen?“

Bis AMALIA (oder irgendein kleines nationales Modell) ihren Rechenweg aufzeigen und beweisen kann, dass sie die richtige Logik verwendet und nicht nur basierend auf Oberflächenreizen rät, ist sie nicht bereit, der endgültige Richter zu sein. Das Paper legt nahe, dass AMALIA für den Moment eine hilfreiche Assistentin ist, aber nicht der Boss der Daten.

Technisches Resümee: Validität von LLMs als Datenannotatoren

Problemstellung
Die Arbeit adressiert eine kritische Lücke in der Evaluierung von Large Language Models (LLMs) als Datenannotatoren für die sozialwissenschaftliche Forschung. Während nationale „souveräne“ LLMs (wie Portugals AMALIA) zunehmend eingesetzt werden, um lokale Texte zu analysieren, stützte sich ihre Evaluierung historisch auf Reliabilität (Übereinstimmung mit menschlichen Codierern) statt auf Konstruktvalidität (Treue gegenüber der theoretischen Definition des gemessenen Konstrukts).

Das Kernproblem besteht darin, dass eine hohe Übereinstimmung zwischen einem LLM und menschlichen Annotatoren nicht garantiert, dass das Modell das intendierte theoretische Konstrukt misst. Stattdessen kann das Modell die Übereinstimmung durch „Oberflächenkorrelate“ oder Abkürzungen erreichen (z. B. das Erkennen von moralischer Empörung in der Nähe einer Autoritätsperson anstatt der spezifischen Haltung zur Hierarchie, die die Theorie erfordert). Da LLMs Black Boxes sind, können Standard-Übereinstimmungsmetriken nicht zwischen einer echten Inferenz und einer spuriösen Korrelation unterscheiden. Dies ist besonders dringlich für souveräne Modelle, bei denen die Annahme besteht, dass ein auf lokalen Daten und Sprache trainiertes Modell naturgemäß als überlegenes Messinstrument für diese Gemeinschaft dient.

Methodik
Die Studie verwendet eine Methode der Körnungskalibrierung (grain calibration), um den inferentiellen Pfad des LLM zu untersuchen und über die ganzheitliche Übereinstimmung hinaus die Validität des Messinstruments zu testen.

Konstrukt und Korpus: Die Studie konzentriert sich auf die „Autorität/Subversion“-Moralfundament aus der Moral Foundations Theory. Der Datensatz besteht aus 748 Texten aus dem Moral Foundations Reddit Corpus (MFRC), die mittels einer rigorosen „Transkreations“-Pipeline in europäisches Portugiesisch (pt-PT) überführt wurden. Diese Pipeline stellt sicher, dass Bedeutung, Haltung und Referenten erhalten bleiben, während Idiomatik und Register angepasst werden, unter Anwendung von Blind-Generierung und menschlicher Adjudikation, um Code-Leakage zu verhindern.
Modelle: Das primäre Subjekt ist AMALIA-9B, ein 9-Milliarden-Parameter-Modell für europäisches Portugiesisch. Es wird mit zwei größeren Open-Weight-Multilingual-Modellen verglichen: Llama-3.3-70B und GPT-OSS-120B.
Die Recovery Gap ( $\Delta$ ): Die zentrale Metrik ist die „Recovery Gap“, definiert als $\Delta = F^u_1 - F^d_1$ $Δ = F_{1}^{u} - F_{1}^{d}$ .
- $F^u_1$ : Performance (F1-Score) des undekomponierten Prompts (ganzheitliche Instruktion).
- $F^d_1$ : Performance des dekomponierten Prompts, bei dem das Konstrukt in atomare Klauseln (Detektion, Distinktion, Appraisal) zerlegt und mittels einer strengen booleschen Integrationsregel, die aus der Theorie abgeleitet wurde, wieder kombiniert wird.
- Ein $\Delta \approx 0$ zeigt an, dass das Modell das Konstrukt gemäß der Theorie misst. Ein großes $\Delta$ deutet darauf hin, dass das Modell auf Abkürzungen zurückgreift, die nicht Teil der Theorie sind.
Experimentelles Design: Die Studie testet AMALIA sowohl unter englischen als auch unter portugiesischen Instruktionen auf dem portugiesischen Korpus. Sie vergleicht diese Ergebnisse mit den Referenzmodellen auf demselben Korpus sowie mit den Ergebnissen der Referenzmodelle auf dem ursprünglichen englischen Korpus. Die Studie ist präregistriert, wobei die Hypothesen vor der konfirmatorischen Prüfung an einem gehaltenen Datensatz (held-out set) von 448 Texten festgelegt wurden.

Wesentliche Ergebnisse

Hohe Reliabilität, niedrige Validität für AMALIA: AMALIA erreicht eine hohe Übereinstimmung mit menschlichen Annotatoren (ganzheitliche $F_1 \approx 0,71$ ), vergleichbar mit Modellen, die 8- bis 13-mal größer sind. Es weist jedoch eine große Recovery Gap auf ( $\Delta \approx 0,36$ unter portugiesischen Instruktionen und $0,44$ unter englischen). Dies deutet darauf hin, dass die Dekomposition nur etwa die Hälfte der ganzheitlichen Performance von AMALIA rekonstruiert.
Oberflächenkorrelate vs. Theorie: Die Fehleranalyse zeigt, dass die False Positives von AMALIA weitgehend durch Oberflächenkorrelate getrieben werden, wie etwa „generische moralische Empörung“ in der Nähe von Autoritätspersonen oder die bloße Präsenz einer Autoritätsperson, anstatt der erforderlichen evaluativen Haltung zur Hierarchie. In 78 % der False Positives stützte sich das Modell auf Oberflächenbasen anstatt auf die theoretische Definition des Konstrukts.
Modellspezifisches Versagen: Das Versagen ist spezifisch für AMALIA, nicht für das Korpus oder die Sprache.
- GPT-OSS-120B schließt die Lücke im portugiesischen Korpus ( $\Delta \approx 0,03$ ) und performt ähnlich wie bei seinen englischen Ergebnissen.
- Llama-3.3-70B zeigt eine moderate Lücke ( $\Delta \approx 0,12$ ), die zwar größer ist als seine englische Performance, aber signifikant kleiner als die von AMALIA.
- Dies legt nahe, dass das Problem das „Konstrukt–Modell-Instrument“ ist (speziell die Kapazität des 9B-Modells, die theoretische Körnung auszuführen), nicht die portugiesische Sprache oder das transkrierte Korpus.
Instruktionssprache: Die Hypothese, dass portugiesische Instruktionen die Lücke verringern würden, wurde statistisch nicht gestützt ( $\Delta_{pt} = 0,358$ vs. $\Delta_{en} = 0,436$ ; das Konfidenzintervall für die Differenz schloss Null ein). Obwohl die Richtung mit der Hypothese übereinstimmte, war der Effekt nicht signifikant.

Wesentliche Beiträge

Operationalisierung der Konstruktvalidität: Die Arbeit führt die „Recovery Gap“ als diagnostisches Werkzeug ein und wendet sie an, um zwischen reliabler Übereinstimmung und valider Messung in LLMs zu unterscheiden. Sie zeigt, dass Übereinstimmung allein nicht ausreicht, um LLMs als wissenschaftliche Instrumente zu validieren.
Evaluierung souveräner Modelle: Sie liefert die erste Validitätsstudie eines nationalen LLMs (AMALIA) in seiner Muttersprache und stellt die Annahme infrage, dass „Heimat-Sprache“-Modelle automatisch eine überlegene Messvalidität besitzen.
Transkreations-Pipeline: Sie beschreibt eine rigorose, präregistrierte Pipeline zur Erstellung kreuzlinguistischer Korpora für die Konstruktvalidierung und stellt sicher, dass der Code-Transfer durch Verifizierung und nicht durch Annahme gerechtfertigt ist.
Granulare Fehleranalyse: Durch die Zerlegung von Prompts in atomare Klauseln identifiziert die Studie spezifische Fehlermodi (z. B. die Nutzung von moralischer Empörung als Proxy für Autorität), welche ganzheitliche Metriken verschleiern.

Bedeutung und Ansprüche
Die Arbeit kommt zu dem Schluss, dass AMALIA zwar ein reliabler Annotator ist (Codes produziert, die dem menschlichen Konsens entsprechen), aber noch kein valides Instrument zur Messung des theoretischen Konstrukts von Autorität darstellt. Es produziert die „richtigen“ Codes aus den „falschen“ Gründen, indem es sich auf Oberflächenmuster anstatt auf die durch die Definition des Konstrukts erforderlichen inferentiellen Schritte stützt.

Die Autoren argumentieren, dass souveräne LLM-Programme, um bei Messaufgaben vertraut werden zu können, über Übereinstimmungsmetriken hinausgehen müssen. Die entscheidende Frage ist nicht, ob das Modell mit Menschen übereinstimmt, sondern ob es seinen „Arbeitsweg aufzeigen“ kann, indem es die spezifischen inferentiellen Schritte ausführt, die die Theorie definiert. Die Studie legt nahe, dass kleinere nationale Modelle möglicherweise nicht über die „ausführbare Körnung“ verfügen, um komplexe theoretische Dekompositionen ohne Rekalibrierung durchzuführen, und dass Validitätsnachweise für spezifische Messaufgaben generiert werden müssen, nicht nur für allgemeine Sprachbenchmarks. Die Arbeit stellt explizit fest, dass AMALIA für Triage und Pre-Coding geeignet ist, aber nicht für die eigenständige Messung theoretischer Konstrukte.