Knowing the Scale, Missing the Negation: Language Models and Corrective Negation by Excess in English, Spanish, and French

Sprachmodelle sind die Motoren hinter vielen der digitalen Werkzeuge, die wir heute nutzen, und sie sind in der Lage, Texte zu generieren, Sprachen zu übersetzen und Fragen mit erstaunlicher Flüssigkeit zu beantworten. Um zu verstehen, wie diese Systeme funktionieren, schauen Forscher oft darauf, wie sie mit den Bausteinen der menschlichen Kommunikation umgehen, wie etwa Adjektiven, die Intensität beschreiben. Wörter wie „warm“, „heiß“ und „siedend“ existieren auf einer Skala zunehmender Hitze, und Menschen verstehen intuitiv, dass, wenn etwas siedend ist, es auch mindestens warm ist. Dieser logische Zusammenhang wird als Entailment (Folgerung) bezeichnet. Die menschliche Sprache ist jedoch voller Wendungen, bei denen wir ein schwächeres Wort nicht verneinen, um zu sagen, dass das Gegenteil wahr ist, sondern um zu sagen, dass das stärkere Wort das richtige ist. Wenn jemand sagt, die Suppe sei „nicht warm, sondern siedend“, verneint er nicht, dass die Suppe Hitze besitzt; er lehnt „warm“ als Untertreibung ab. Diese spezifische Art der Korrektur, bei der ein Sprecher eine schwache Beschreibung durch eine starke ersetzt, ist ein subtiler Test dafür, ob eine Maschine die Beziehung zwischen Wörtern wirklich versteht oder lediglich Muster abgleicht.

Ein Forscherteam setzte sich zum Ziel zu prüfen, ob moderne Sprachmodelle in der Lage sind, dieses knifflige linguistische Gelände zu navigieren. Sie konzentrierten sich auf ein Phänomen, das als „korrektive Negation durch Exzess“ bekannt ist, bei dem ein Satz ein schwächeres Adjektiv verneint, um ein stärkeres zu bejahen. Das Team sammelte hunderte von Adjektivpaaren aus dem Englischen, Spanischen und Französischen, wie etwa „dim“ (dämmrig) und „dark“ (dunkel) oder „good“ (gut) und „excellent“ (exzellent), die in der Intensität geordnet sind. Anschließend baten sie fünf verschiedene Sprachmodelle, diese Paare unter verschiedenen Bedingungen zu beurteilen. Zuerst bestätigten sie, dass die Modelle die Reihenfolge der Wörter kannten und erkannten, dass „dark“ eine stärkere Version von „dim“ ist. Als Nächstin prüften sie, ob die Modelle verstanden, dass, wenn etwas „dark“ ist, es auch mindestens „dim“ sein muss. Schließlich präsentierten sie den Modellen die korrigierenden Sätze, wie „It is not dim but dark“ (Es ist nicht dämmrig, sondern dunkel), und fragen sie, ob das Objekt immer noch mindestens „dim“ sei.

Die Ergebnisse zeigten eine signifikante Lücke zwischen dem, was die Modelle wissen, und der Art und Weise, wie sie dieses Wissen anwenden. Bei den Einheiten, in denen die Modelle die Reihenfolge der Wörter korrekt identifizierten und die grundlegende Logik akzeptierten, dass „dark“ impliziert, dass es „dim“ ist, waren sie bei der Verständnis der affirmativen Aussage zu 93,4 % erfolgreich. Sie beantworteten auch einfache Negationsfragen korrekt in 99,2 % der Fälle, aber diese hohe Genauigkeit ist irreführend: Die Modelle neigten im Allgemeinen dazu, insgesamt mit „Nein“ zu antworten (mit „Ja“-Raten zwischen 34 % und 44 %), eine Verzerrung, die die Leistung bei Fragen, bei denen die richtige Antwort „Nein“ lautet, künstlich aufbläht. Als sie mit dem korrigierenden Satz „It is not dim but dark“ konfrontiert wurden, sank ihre Leistung drastisch. Bei derselben Gruppe von Items, bei denen sie zuvor gezeigt hatten, dass sie die Beziehung zwischen den Wörtern verstanden, versäumten sie es, die Korrektur in 452 Fällen zu erkennen, während sie in nur 6 Fällen erfolgreich waren. Anstatt zu verstehen, dass die Suppe immer noch warm ist (nur eben heißer), behandelten die Modelle den Satz oft als einfache Verneinung und kamen zu dem Schluss, dass das Objekt überhaupt nicht „dim“ sei.

Dieser Fehler beruhte nicht auf einem Mangel an Wissen über die Wörter selbst. Als die Forscher eine ähnliche Konstruktion mit demselben Wort testeten, wie etwa „It is not dim but very dim“ (Es ist nicht dämmrig, sondern sehr dämmrig), zeigten die Modelle eine hohe Genauigkeit und lösten es zu 94,4 % korrekt. Dies deutet darauf hin, dass die Modelle die Struktur des Satzes handhaben können, wenn die Wörter identisch sind, aber ins Straucheln geraten, wenn sie zwei verschiedene Wörter innerhalb eines korrigierenden Rahmens miteinander verknüpfen müssen. Das Fehlermuster war über alle fünf getesteten Modelle und in allen drei Sprachen konsistent. In vielen Fällen antworteten die Modelle mit „Nein“ auf die Frage, ob das Objekt zumindest der schwächeren Bezeichnung entsprach, wodurch sie die zweite Hälfte des Satzes, die die Korrektur lieferte, effektiv ignorierten. Dies deutet darauf hin, dass die Modelle nicht scheitern, weil sie die Adjektive nicht ranken können, sondern weil sie Schwierigkeiten haben, die wörtliche Bedeutung der Negation zu überstimmen, wenn eine stärkere Alternative eingeführt wird.

Die Studie untersuchte auch, ob es helfen würde, die Korrektur expliziter zu gestalten. Im Englischen verglichen die Forscher die Standardform „not X but Y“ mit einer Version, der das Wort „rather“ hinzugefügt wurde, also „not X but rather Y“ (nicht X, sondern vielmehr Y). Diese kleine Änderung, die eine Korrektur deutlicher signalisiert, verbesserte die Genauigkeit der Modelle von 36,1 % auf 49,3 %. Obwohl dies eine Verbesserung darstellte, war es keine vollständige Lösung, da die Modelle die Bedeutung in mehr als der Hälfte der Fälle immer noch nicht erfassten. Die Forscher merkten an, dass die Modelle im Spanischen, wo eine spezifische Konjunktion für Korrekturen verwendet wird, etwas besser abschnitten als im Englischen oder Französischen, aber die grundlegende Schwierigkeit blieb bestehen. Die Daten legen nahe, dass diese Systeme über das Rohwissen über die Beziehung von Wörtern verfügen, aber oft scheitern, wenn die Satzstruktur erfordert, eine schwächere Beschreibung zugunsten einer stärkeren abzulehnen.

Die Auswirkungen dieses Befundes reichen über akademische Neugier hinaus. Sprachmodelle werden zunehmend eingesetzt, um Rezensionen zusammenzufassen, Feedback zu analysen und Kundenbeschwerden zu bearbeiten. Wenn ein Modell eine Rezension liest, die besagt, ein Produkt sei „not good but outstanding“ (nicht gut, sondern herausragend), könnte es die starke Lobpreisung als negative Aussage missverstehen, weil es die korrigierende Natur des Satzes nicht erfasst. Die Forscher kommen zu dem Schluss, dass aktuelle Evaluierungen dieser Systeme auch diese spezifische Art der linguistischen Herausforderung beinhalten müssen. Es reicht nicht aus zu prüfen, ob ein Modell weiß, dass „outstanding“ stärker als „good“ ist; das Modell muss auch darauf getestet werden, ob es dieses Wissen anwenden kann, wenn ein Satz den schwächeren Begriff verneint, um den stärkeren zu bejahen. Bis Modelle in der Lage sind, solche Korrekturen zuverlässig zu navigieren, riskieren sie, den Tonfall und die Absicht der menschlichen Kommunikation falsch zu interpretieren, indem sie großes Lob in Kritik verwandeln und die Nuancen übersehen, die die Sprache so kraftvoll machen.