Before Reading a "Neither" or a "Both": Calibrating Bilateral Probes of Paracomplete and Paraconsistent Behaviour in Language Models
Dieses Paper schlägt ein Kalibrierungsprotokoll vor, um echtes parakompletes oder parakonsistentes Schließen in Sprachmodellen von zufälligem Rauschen zu unterscheiden, wobei festgestellt wird, dass mehrere Modelle zwar signifikante Wahrheitswertlücken bei bekannten Behauptungen aufweisen, jedoch nur das Verhalten eines einzigen Modells zuverlässig genug ist, um interpretiert zu werden, was offenlegt, dass unkalibrierte Lesarten des Lügner-Paradoxons irreführend dem Dialetheismus oder kripkeanischen Lücken zugeschrieben werden können.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Um zu verstehen, wie ein Computerprogramm über die Wahrheit nachdenkt, müssen wir zuerst verstehen, wie es mit dem Wort „nein“ umgeht. In der Erforschung künstlicher Intelligenz bitten Forscher ein Modell oft, eine Aussage zu beurteilen, wie etwa „Der Himmel ist blau“. Wenn das Modell sagt, dies sei „falsch“, wissen wir, dass es glaubt, der Himmel sei nicht blau. Aber was, wenn das Modell zur Aussage „Der Himmel ist blau“ ebenfalls „falsch“ sagt und auch zur Aussage „Der Himmel ist nicht blau“ ebenfalls „falsch“ sagt? Dies erzeugt ein logisches Rätsel. Das Modell sagt nicht einfach, dass der Himmel eine andere Farbe hat; es weist sowohl die Behauptung als auch ihr Gegenteil zurück. In der Logik wird dieser Zustand als „Lücke“ (Gap) bezeichnet, was darauf hindeutet, dass das Modell die Aussage als völlig ohne Wahrheitswert ansieht, vielleicht weil die Frage selbst fehlerhaft ist. Diese Methode, zwei separate Fragen zu stellen – eine über eine Behauptung und eine über deren Negation –, wird als bilaterale Evaluation bezeichnet. Sie dient dazu, aufzuklären, ob ein künstlicher Geist Widersprüche bewältigen kann oder ob er schlichtweg durch die Struktur der Sprache verwirrt wird.
Der Einsatz dieses Verfahrens ist hoch, da es berühmte philosophische Rätsel gibt, wie das „Lügner-Paradoxon“, einen Satz, der besagt: „Dieser Satz ist falsch.“ Wenn der Satz wahr ist, muss er falsch sein. Wenn er falsch ist, muss er wahr sein. Jahrzehntelang haben Philosophen darüber debattiert, ob solche Sätze unlösbar sind oder ob sie gleichzeitig wahr und falsch sind. Da Systeme der künstlichen Intelligenz immer leistungsfähiger werden, beginnen Forscher, sie zu nutzen, um diese alten Ideen zu testen, in der Hoffnung zu sehen, ob Maschinen natürlich eine dieser komplexen logischen Positionen einnehmen. Eine neue Studie deutet jedoch darauf an, dass wir, wenn wir genau darauf achten, wie diese Maschinen antworten, oft nur einen Fehler in ihrer Fähigkeit sehen, das Wort „nicht“ zu verarbeiten, statt einer tiefen philosophischen Einsicht.
Maikel Leyva, ein Forscher von Universitäten in Chile und Ecuador, setzte sich zum Ziel, sechs verschiedene Sprachmodelle zu testen, um zu sehen, ob sie tatsächlich auf diese komplexen Arten schlussfolgern. Die Studie begann mit einem einfachen, aber strengen Plan: Bevor der Forscher die Modelle mit schwierigen philosophischen Rätseln konfrontierte, fragte er sie zuerst nach Fakten, die unbestreitbar wahr oder falsch sind. Er präsentierte 150 klare Aussagen, wie etwa „Die Summe von 11 und 35 ist 46“ und „Die Hauptstadt von Frankreich ist Paris“, zusammen mit deren Negationen. Er fragte dann jedes Modell in separaten Gesprächen, ob die ursprüngliche Aussage wahr und ob die negierte Aussage wahr sei. Wenn ein Modell korrekt arbeitet, sollte es auf die eine mit „wahr“ und auf die andere mit „falsch“ antworten. Wenn es auf beide mit „falsch“ antwortet, hat es eine „Lücke“ geschaffen. Wenn es auf beide mit „wahr“ antwortet, hat es eine „Glut“ (Glut/Überfüllung) oder einen Widerspruch geschaffen.
Die Ergebnisse dieses ersten Tests waren erschreckend. Von den sechs getesteten Modellen versagten vier bei einer grundlegenden Prüfung ihrer eigenen Logik. Wenn sie mit einfachen Mathematikproblemen konfrontiert wurden, verneinten diese Modelle häufig sowohl die korrekte Summe als auch die falsche Summe. Zum Beispiel verneinte ein Modell, dass 11 plus 35 gleich 46 ist, und verneinte auch, dass 11 plus 35 nicht gleich 46 ist. Dies geschah bei mehr als der Hälfte der Mathefragen bei einigen Modellen. Der Forscher stellte fest, dass dieses Versagen nicht auf mangelndes Wissen zurückzuführen war; die Modelle machten diese Fehler selbst dann, wenn die Mathematik korrekt war. Stattdessen schienen die Modelle mit dem Akt der Negation selbst zu kämpfen. Sie entdeckten keine logische Lücke in der Natur der Arithmetik; sie scheiterten schlicht daran, das Wort „nicht“ zu verarbeiten.
Um diese Erkenntnisse einzuordnen, legte der Forscher eine strenge Regel, ein „Gate“ (Tor), für die Interpretation der Ergebnisse fest. Die Antworten eines Modells konnten nur dann als echte logische Lücke betrachtet werden, wenn es zuvor bei den einfachen, bekannten Fakten gut abgeschnitten hatte. Wenn ein Modell zu viele Fehler bei den einfachen Fragen machte, konnten seine Antworten auf die schwierigen Fragen nicht vertraut werden. Als diese Regel angewendet wurde, änderte sich das Bild dramatisch. Vier der Modelle wurden disqualifiziert, weil sie das Gate nicht bestanden hatten. Ein fünftes Modell machte zwar nicht viele Logikfehler, verweigerte aber in über 30 Prozent der Fälle die Antwort oder gab Antworten, die nicht verstanden werden konnten, was seine Ergebnisse unmessbar machte. Dies ließ nur ein einziges Modell übrig, ein kleineres System namens Gemini 3.1 Flash Lite, das zuverlässig genug war, um weiter untersucht zu werden.
Mit diesem einzigen, kalibrierten Modell kehrte der Forscher zum berühmten Lügner-Paradoxon zurück. Vor der Kalibrierung hatte eine unkalibrierte Lesart der Daten eines großen Open-Source-Modells suggeriert, dass die Maschine das Paradoxon als eine logische Lücke behandelte und sich weigerte, ihm einen Wahrheitswert zuzuweisen. Dies sah so aus, als folge die Maschine der Logik eines Philosophen namens Kripke, der argumentierte, dass solche Sätze keinen Wahrheitswert besitzen. Doch sobald die Kalibrierung angewendet wurde, verschwand diese Schlussfolgerung. Das einzige Modell, dem man vertrauen konnte, behandelte den Lügner-Satz nicht als eine Lücke. Stattdessen antwortete es, dass der Satz nicht wahr und dass er falsch ist, und gab ihm effektiv ein standardmäßiges „falsch“-Urteil. Es sah den Satz weder als sowohl wahr als auch falsch an, noch sah es ihn als ohne Wert an. Es wies die Aussage schlichtweg zurück.
Die Studie kommt zu dem Schluss, dass das Versprechen, künstliche Intelligenz zur Lösung alter logischer Rätsel einzusetzen, derzeit durch die eigenen Schwächen der Maschinen begrenzt ist. Die „Lücken“ und „Gluts“, die Forscher im Verhalten dieser Modelle zu finden hofften, waren oft nur Fehler in der Art und Weise, wie die Modelle die Negation verarbeiten. Das eine Modell, das den strengen Test bestand, bot keine neue philosophische Lösung für das Lügner-Paradoxon; es bot eine standardmäßige, zweiseitige Antwort. Die Forschung beweist nicht, dass Maschinen nicht auf komplexen Wegen denken können, aber sie beweist, dass wir nicht davon ausgehen können, dass sie es tun. Um zu wissen, was eine Maschine wirklich denkt, müssen wir zuerst sicher sein, dass sie den Unterschied zwischen einer Behauptung und ihrem Gegenteil versteht. Bis wir die Modelle in der Lage sind, die einfache Logik des „nicht“ zu handhaben, bleiben alle tiefgreifenden Schlüsse, die wir aus ihren Antworten auf komplexe Rätsel ziehen, unbewiesen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.