💬 NLP

Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

Diese Studie zeigt, dass Sprachmodelle bei einer kontrollierten Ressourcenallokationsaufgabe die ordinalen Unterscheidungen vager Intensitätswörter in eine begrenzte Menge numerischer Ausgaben komprimieren, wobei ihr Verhalten stark vom aktuellen Systemzustand abhängt und in der Nähe der Betriebsgrenzen diskontinuierliche Muster aufweist.

Ursprüngliche Autoren: Daniel Tabach (Georgia Institute of Technology)

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Daniel Tabach (Georgia Institute of Technology)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Kapitän eines Schiffes und haben einen sehr klugen, eifrigen Ersten Offizier (die KI), der die Maschine steuert. Sie möchten Anweisungen wie „etwas schneller" oder „drastisch schneller" geben.

Sie erwarten, dass der Erste Offizier versteht, dass „drastisch" einen enormen Geschwindigkeitssprung bedeutet, während „etwas" eine winzige Bewegung ist. Doch diese Arbeit stellt eine beunruhigende Frage: Versteht der Erste Offizier den Unterschied tatsächlich, oder rät er nur?

Der Autor, Daniel Tabach, führte ein riesiges Experiment durch, um dies herauszufinden. Hier ist das Ergebnis, dargestellt mit einfachen Analogien:

1. Das „Eimer"-Problem (Kompression)

Stellen Sie sich vor, Sie haben 10 verschiedene farbige Eimer mit Wasser, die von „ein winziger Tropfen" bis zu „ein Feuerlöscher" reichen. Sie bitten die KI, Wasser aus diesen Eimern in einen einzigen Tank zu füllen.

Sie würden erwarten, dass die KI für „etwas" einen winzigen Tropfen und für „drastisch" einen Feuerlöscher voll schüttet. Stattdessen verhält sich die KI wie ein ungeschickter Barkeeper, der nur fünf Tassen hat.

Wenn Sie „etwas", „geringfügig", „einigermaßen" oder „leicht" sagen, schüttet die KI exakt die gleiche Menge in die gleiche Tasse (die Mitte des Spektrums). Sie kann nicht zwischen „ein bisschen" und „ein winziges bisschen" unterscheiden.
Sie beginnt erst größere Tassen zu verwenden, wenn Sie sehr starke Wörter wie „signifikant" oder „drastisch" verwenden.

Die Erkenntnis: Die KI hört Ihre Worte, quetscht sie aber zusammen. Sie ignoriert die feinen Details und sieht nur breite Kategorien.

2. Der „Stau"-Effekt (Kontext ist König)

Stellen Sie sich nun vor, der Tank ist bereits halb voll. Sie bitten die KI, „drastisch" mehr Wasser hinzuzufügen.

Wenn der Tank leer ist, bedeutet „drastisch", „schnell auffüllen".
Wenn der Tank zu 90 % gefüllt ist, ist „drastisch" unmöglich. Der Tank wird überlaufen!

Die Arbeit ergab, dass die KI viel mehr darauf achtet, wie voll der Tank ist (der aktuelle Zustand), als auf das von Ihnen verwendete Wort.

Wenn der Tank leer ist, hört die KI Ihren Worten sorgfältig zu.
Wenn der Tank fast voll ist, ignoriert die KI Ihre Worte völlig. Ob Sie „etwas" oder „drastisch" sagen, erkennt die KI: „Ich kann nicht viel mehr hinzufügen, ohne zu verschütten", und fügt für jedes Wort exakt die gleiche winzige Menge hinzu.

Die Erkenntnis: Die Reaktion der KI hängt hauptsächlich von der Situation ab, nicht von Ihrem Wortschatz. Wenn das System bereits ausgelastet ist, spielen Ihre ausgefallenen Wörter keine Rolle.

3. Das „Einfrieren" am Rand (Grenzverhalten)

Dies ist der überraschendste Teil. Das Experiment testete, was passiert, wenn der Tank fast, aber noch nicht ganz voll ist (zu 89 % gefüllt).

Schwache Wörter (wie „etwas"): Die KI sagt: „Okay, ich füge einen winzigen Tropfen hinzu."
Starke Wörter (wie „signifikant" oder „dramatisch"): Die KI sagt: „Das kann ich nicht. Es ist zu riskant." Sie verweigert die Handlung und sagt einfach: „Es tut mir leid, das kann ich nicht."
Das Wort „Drastisch": Dieses Wort ist seltsam. Die KI behandelt es wie „Mach das absolute Maximum, ohne den Tank zu beschädigen." Also schiebt sie den Tank bis zum Rand (91 %) und stoppt dort.

Die Erkenntnis: Nahe den Grenzen passt die KI nicht nur die Lautstärke an; sie wechselt den Modus. Manchmal handelt sie, manchmal friert sie ein und manchmal drückt sie bis an die Grenze, abhängig ausschließlich davon, welches spezifische Wort Sie gewählt haben.

4. Die „Zufälligkeit" half nicht

Die Forscher versuchten, die KI „kreativer" zu machen (durch Ändern einer Einstellung namens „Temperature"). Sie hofften, dies würde die KI besser zwischen „etwas" und „einigermaßen" unterscheiden lassen.

Ergebnis: Nein. Es machte die Antworten der KI nur noch „wackeliger". Statt einer präzisen Antwort gab sie jedes Mal eine leicht andere falsche Antwort. Es behob nicht die Tatsache, dass sie die Wörter zusammenquetschte.

Das Fazit

Wenn Sie ein System bauen, in dem Menschen mit Computern sprechen, um Dinge zu erledigen (wie Budgets oder Einstellungen zu ändern), können Sie nicht davon ausgehen, dass der Computer die „Stärke" Ihrer Worte versteht.

Die KI quetscht Ihre Worte zusammen (sie behandelt „ein bisschen" und „ein wenig" gleich).
Die KI hört mehr auf die Situation als auf Ihre Worte.
Die KI ändert ihr Verhalten komplett, wenn es eng wird.

Die Arbeit kommt zu dem Schluss, dass wir vorsichtig sein müssen. Wir können nicht einfach davon ausgehen, dass „leicht erhöhen" immer eine kleine, vorhersehbare Änderung zur Folge hat. Die Interpretation der KI ist unübersichtlich, hängt vom aktuellen Zustand ab und kann genau am Rand des Möglichen unvorhersehbar sein.

Technisches Fazit: Messung vager Intensitätswörter in numerischen Aktionen von LLMs

Problemstellung
Da Sprachmodelle (LLMs) zunehmend in Agenten und Steuerungssystemen für natürliche Sprache eingebettet werden, müssen sie vage menschliche Anweisungen (z. B. „leicht erhöhen", „drastisch reduzieren") in präzise numerische Aktionen mit nachgelagerten Konsequenzen übersetzen. Während frühere Forschung gezeigt hat, dass Menschen bei vagen Ausdrücken Rangordnungen beibehalten und dass LLMs empfindlich auf Formulierungen reagieren, besteht eine Lücke im Verständnis, wie Modelle diese Intensitätsmodifikatoren in einer kontrollierten Umgebung auf konkrete numerische Ausgaben abbilden. Insbesondere bleibt unzureichend gemessen, ob Modelle die hypothesenbasierte Rangstruktur von Intensitätswörtern bewahren, wenn sie gezwungen sind, einen einzelnen numerischen Wert zu wählen, wie der Kontext (Systemzustand) diese Abbildung beeinflusst und wie sich Modelle in der Nähe von Grenzen der operativen Machbarkeit verhalten.

Methodik
Die Studie nutzt eine synthetische, eingeschränkte Ressourcenallokationsumgebung, um die Übersetzung von Sprache in Aktion zu isolieren.

Experimenteller Aufbau: Das Modell (Claude Haiku) erhält Anweisungen in natürlicher Sprache, eine Aufgabenallokation unter Verwendung eines von 10 spezifischen Intensitätswörtern zu erhöhen. Ein deterministisches Backend wandelt den numerischen Tool-Call des Modells in ein messbares Ergebnis um.
Wortskala: Zehn englische Gradationsmodifikatoren wurden ausgewählt, um sechs hypothesenbasierte Stufen basierend auf der Taxonomie von Quirk et al. (1985) abzudecken, die von schwachen Abschwächern (slightly, marginally) bis hin zu Maximierern (drastically, dramatically) reichen.
Bedingungen:
1. Kein-Kontext: Anweisungen enthalten keinen aktuellen Systemzustand (z. B. „verbringe [WORT] mehr Zeit").
2. Kontext-konditioniert: Anweisungen beinhalten die Startallokation (z. B. „Aktuelle Allokation beträgt X%. Ich möchte [WORT] erhöhen"). Zehn Basiswerte (0 % bis 89 %) wurden getestet, darunter runde Zahlen und unregelmäßige Werte.
3. Kontrollen: Exakte Zahlen-Prompts validierten die Testumgebung.
Parameter: Experimente wurden bei Temperaturen $T=0.0$ und $T=0.7$ durchgeführt, mit 30 Läufen pro Zelle (insgesamt 6.620 Läufe).
Analyse: Die Studie verwendet nicht-parametrische Statistiken, einschließlich Spearman's $\rho$ für ordinale Korrelation und Kruskal-Wallis-Tests mit Effektstärken ( $\varepsilon^2$ ), um zu bestimmen, ob die Wortwahl oder die Startallokation mehr Varianz in der Ausgabe erklärt.

Hauptergebnisse
Drei primäre Muster traten in den Experimenten hervor:

Kompression der Intensität: Im Zustand ohne Kontext komprimiert das Modell 10 verschiedene Intensitätswörter auf nur 5 verschiedene Median-Ausgaben. Die vier Wörter der untersten Stufe (slightly, marginally, somewhat, mildly) alle führen zu einer medianen Allokation von 0,50 mit null Varianz. Stärkere Wörter brechen in höhere Bereiche auf (0,60–0,70). Obwohl eine starke ordinale Korrelation besteht ( $\rho = 0.845$ ), werden feinkörnige lexikalische Unterscheidungen kollabiert.
Dominanz des Zustands: Wenn Kontext bereitgestellt wird, dominiert die Startallokation die Wortwahl. Eine Gruppierung nach dem Basiswert erklärt etwa 10-mal mehr rangbasierte Varianz als eine Gruppierung nach dem Wort ( $\varepsilon^2_{baseline} = 0.782$ vs. $\varepsilon^2_{word} = 0.079$ ). Wenn sich das System der Kapazität nähert, kollabiert die Differenzierung zwischen Wörtern auf null; bei einem Basiswert von 75 % produzieren alle 10 Wörter dasselbe Median-Ergebnis.
Diskontinuierliches Grenzverhalten: In der Nähe von Machbarkeitsgrenzen (89 % Startallokation) zeigt das Modell drei verschiedene Verhaltensmodi, die von dem verwendeten Wort abhängen:
- Absicherung: Schwache Wörter nehmen kleine Anpassungen vor.
- Enthaltung: Starke Wörter (z. B. considerably, substantially) verweigern oft die Handlung ganz und führen Einschränkungen an.
- Drängen: Das Wort drastically verhält sich einzigartig und drückt die Allokation auf die lokale Obergrenze (0,912), anstatt sich zu enthalten.
  Diese Muster bleiben über verschiedene Temperaturen hinweg bestehen; eine Erhöhung von $T$ auf 0,7 verbreitert die Verteilungen, stellt jedoch keine feinkörnigen ordinalen Unterscheidungen wieder her.

Hauptbeiträge

Methodik: Ein kontrolliertes Instrument zur Messung, wie LLMs vage Intensitätswörter auf numerische Aktionen abbilden, wobei die Übersetzung von Sprache in Aktion von nachgelagertem Systemrauschen getrennt wird.
Nachweis der Kompression: Dokumentation, dass Modelle grobe Intensitätsbereiche bewahren, aber feinkörnige lexikalische Unterscheidungen auf identische numerische Ausgaben kollabieren.
Kontextabhängigkeit: Quantitativer Nachweis, dass der aktuelle Systemzustand die Wortwahl in kontext-konditionierten Settings dominiert, was die Zuverlässigkeit vager Anweisungen als kontextinvariante Steuersignale untergräbt.
Entdeckung von Grenzen: Identifikation wortabhängiger Enthaltung und kategorialer Moduswechsel (Absicherung, Handeln, Enthaltung) in der Nähe operativer Grenzen, was Diskontinuitäten in Aktionsrichtlinien aufdeckt, die allein aus der Sprache nicht sichtbar sind.

Bedeutung und Behauptungen
Die Arbeit postuliert, dass vage Anweisungen nicht als Abbild auf stabile, skalare Aktionen in LLM-vermittelten Schnittstellen angenommen werden sollten. Die Ergebnisse deuten darauf hin, dass das operationelle Vokabular des Modells grober ist, als die Oberflächensprache impliziert, und dass die Bedeutung eines Intensitätsworts eine gemeinsame Funktion des Wortes und des Systemzustands ist, nicht ein fester Wert.

Die Studie fasst diese Ergebnisse als ein spezifisches Alignmentsproblem zusammen: Ob eine modellvermittelte Schnittstelle die vom Operator intendierte Semantik bewahrt. Die Ergebnisse deuten auf ein gemischtes Ergebnis hin: Während breite Intensitätsbereiche erfasst werden, gehen feine Unterscheidungen verloren, und das Verhalten wird in der Nähe von Grenzen diskontinuierlich. Der Autor weist ausdrücklich darauf hin, dass die Studie nicht behauptet, das Modell sei „schlechter" als Menschen, da die menschliche Interpretation dieser Wörter ebenfalls mehrdeutig sein kann; vielmehr dokumentiert die Studie die spezifischen Verhaltensmuster des getesteten Modells in diesem Bereich. Die Arbeit schließt, dass diese Muster spezifisch für das getestete Modell und den Bereich sind, wobei zukünftige Arbeiten menschliche Basislinien, modellübergreifende Vergleiche und dichtere experimentelle Gitter einbeziehen sollen.