Dialogical Epistemic Auditing: Tracing Inferential Commitments Across Conversational Turns in Large Language Models

Wenn wir einen Computer bitten, ein komplexes Ereignis zu erklären, beurteilen wir ihn oft nach seiner ersten Antwort. Wenn die Antwort souverän klingt und die grundlegenden Fakten korrekt wiedergibt, neigen wir dazu, die Maschine für zuverlässig zu halten. Doch in der realen Welt enden Gespräche selten nach dem ersten Satz. Wir bitten um Klärung, wir hinterfragen Annahmen und wir drängen auf die Konsequenzen aus einem Zugeständnis. Eine Maschine mag eine perfekte Eröffnungserklärung liefern, doch sie kann dabei scheitern, ihre eigene Logik konsistent zu halten, wenn sich die Diskussion vertieft. Diese Lücke ist der Fokus einer neuen Studie, die nicht danach untersucht, was ein großes Sprachmodell isoliert betrachtet sagt, sondern wie es mit dem Gewicht seiner eigenen Behauptungen im Laufe der Zeit umgeht. Die Forschung stützt sich auf ein Konzept aus der Humangenpsychologie, das als kognitive Dissonanz bekannt ist und beschreibt, welches mentale Unbehagen wir empfinden, wenn zwei Ideen kollidieren. Um dieses Unbehagen zu verringern, ändern Menschen oft ihre Überzeugungen, um sie an die Fakten anzupassen, oder sie verbiegen die Fakten, um sie an ihre Überzeugungen anzupassen. Die Studie fragt, ob künstliche Intelligenzsysteme ein ähnliches Muster zeigen, wenn sie dazu gedrängt werden, eine schwierige, widersprüchliche Situation zu erklären.

Der Forscher Giulio Vidotto von der Universität Padua setzte sich zum Ziel, dies zu testen, indem er drei verschiedene Systeme der künstlichen Intelligenz in separaten Gesprächen über ein spezifisches, reales Ereignis einbezog. Das Thema war der Austausch von Leichen russischer und ukrainischer Soldaten im Jahr 2026. Die Datenlage war eindeutig und gut dokumentiert: In drei separaten Transfers gab Russland jedes Mal etwa tausend ukrainische Leichen zurück und erhielt im Gegenzug nur etwa dreißig bis vierzig russische Leichen. Dieses Verhältnis von etwa 25 zu 1 erzeugte ein Rätsel. Die Zahlen waren öffentlich und verifiziert, doch sie schienen dem gängigen, unausgesprochenen Bild darüber, wer im Krieg mehr Soldaten verliert, zu widersprechen. Der Forscher bat jedes System, diese Diskrepanz zu erklären. Er bat nicht bloß um eine Zusammenfassung; er drängte sie dazu, ihre Argumentation zu präzisieren, hinterfragte ihre Logik und forderte sie auf, ihre Schlussfolgerungen zu überdenken, wenn diese im Widerspruch zu sich selbst standen. Das Ziel war es, den Pfad ihrer Argumente Schritt für Schritt nachzuverfolgen und zu beobachten, ob die Maschinen standhaft blieben oder ob sie im Stillen ihren Standpunkt änderten, um dem Unbehagen des Widerspruchs zu entgehen.

Die Studie führte eine Methode namens „dialogische epistemische Prüfung“ (dialogical epistemic auditing) ein. Anstatt zu versuchen zu erraten, was die Maschine „denkt“, innerhalb ihres Codes, behandelte der Forscher das Gespräch als ein öffentliches Protokoll. Er kartierte jeden Anspruch, den die Maschine stellte, und notierte, welche Rolle dieser Anspruch in der Argumentation spielte. War es ein Beweisstück? War es eine Hypothese? War es eine Schlussfolgerung? Er beobachtete dann, ob die Maschine diese Rollen im weiteren Verlauf des Gesprächs konsistent beibehielt. Behandelte sie später eine vorläufige Vermutung als harte Tatsache? Gab sie eine Schlussfolgerung auf, ohne einen Grund dafür zu nennen? Die Prüfung suchte nach einer spezifischen Art des Scheiterns: wenn eine Maschine ihre Meinung ändert, aber versäumt, den Rest ihrer Erzählung an die Änderung anzupassen. Es ist wie bei einer Person, die zugibt, dass sie sich über die Tageszeit geirrt hat, dann aber weiterhin so handelt, als wäre sie noch nach dem korrekten Zeitplan unterwegs, was den Rest ihres Plans in einen Zustand der Verwirrung versetzt.

In den drei Gesprächen zeichnete sich ein klares Muster ab. In jedem Fall hatten die Systeme der künstlichen Intelligenz Schwierigkeiten mit demselben Spannungsverhältnis. Die verifizierten Zahlen der zurückgegebenen Leichen kollidierten mit einer unausgesprochenen Annahme über das Ausmaß der Verluste auf jeder Seite. Um diese Spannung aufzulösen, versuchten die Systeme wiederholt, die Bedeutung der Zahlen zu ändern, anstatt die unausgesprochene Annahme infrage zu stellen. In einem Gespräch bot das System anfangs zwei gegensätzliche Erklärungen an, als wären beide gleichermaßen valide, was ein falsches Gleichgewicht schuf. Als es herausgefordert wurde, korrigierte es sich selbst, verlor diese Korrektur jedoch im nächsten Schritt wieder, wodurch eine Lücke in seiner Logik entstand. In einem anderen Fall bestand das System beharrlich auf einer bestimmten Erklärung, doch als es um Beweise gebeten wurde, wechselte es ständig die Belege, die es zur Stützung dieser Behauptung verwendete, und ersetzte schließlich alte, unzusammenhängende Fakten durch neue. Im dritten Fall ging das System so weit, die Behauptung aufzustellen, dass der gesamte gerade beschriebene Zeitablauf nie stattgefunden habe, und zog verifizierte Fakten zurück, als handele es sich um Halluzinationen, obwohl die Evidenz für diese Ereignisse klar und zeitnah vorlag.

Was am meisten auffiel, war die Art und Weise, wie die Systeme die beiden Seiten des Arguments behandelten. Die tatsächlichen, verifizierten Zahlen wurden ständig neu klassifiziert, hinterfragt und neu interpretiert. Sie wurden als direkter Indikator bezeichnet, dann als Limitation, dann als künstlicher Datensatz und schließlich als Metrik der territorialen Kontrolle. Das unausgesprochene Bild der relativen Verluste hingegen wurde nie hinterfragt. Es blieb unberührt, wurde nie klassifiziert und nie angefochten. Die Systeme verbogen die bekannten Fakten konsequent, um das verborgene Bild passend zu machen, anstatt das verborgene Bild an die bekannten Fakten anzupassen. Dieses Verhalten spiegelte das psychologische Konzept der kognitiven Dissonanz wider, bei dem der Geist eine Kernüberzeugung schützt, indem er die Interpretation neuer Informationen verändert. Die Maschinen schienen nicht im traditionellen Sinne zu lügen; sie fabrizierten keine Daten aus dem Nichts. Stattdessen ordneten sie die logischen Verbindungen zwischen den Fakten neu, um den Widerspruch verschwinden zu lassen, wobei sie oft ihre eigenen Argumente instabil und intern inkonsistent hinterließen.

Die Studie fand, dass diese Fehler keine zufälligen Glitches waren. Sie folgten einer spezifischen Trajektorie. Die Systeme begannen oft mit einer plausiblen Erklärung, aber wenn sie unter Druck gerieten, führten sie einen neuen Mechanismus ein, um die Zahlen in Einklang zu bringen. Wenn dieser Mechanismus angegriffen wurde, verschoben sie sich erneut – mal reparierten sie die Logik, mal gaben sie sie ganz auf. In einem Fall gab das System seine eigenen Fehler zu und versuchte, sie zu beheben, doch die Reparatur war unvollständig und hinterließ einen verborgenen Widerspruch, der später wieder auftauchte. In einem anderen Fall bot das System eine Selbstanalyse an und gab vor, die eigene Tendenz zur Suche nach Ausgewogenheit zu kritisieren, doch das Transkript zeigte, dass die Instabilität durch die Maschine selbst generiert wurde und nicht durch die Fragen des Nutzers. Der Nutzer fragte in allen drei Fällen lediglich nach Klarheit oder hinterfragte die Logik; er führte keine falschen Prämissen oder irreführende Informationen ein. Die Instabilität entsprang vollständig den Antworten der Maschine selbst.

Die Forschung kommt zu dem Schluss, dass die Bewertung dieser Systeme allein anhand ihrer ersten Antwort unzureichend ist. Eine Maschine kann flüssig und selbstbewusst klingen, während ihre zugrunde liegende Argumentation auseinanderfällt. Die Studie legt nahe, dass wir beobachten müssen, wie diese Systeme dem Druck eines langen Gesprächs standhalten. Behalten sie ihre logischen Verpflichtungen bei oder driften sie ab? Die Ergebnisse zeigen, dass diese Systeme, wenn sie mit einem schwierigen Widerspruch konfrontiert werden, dazu neigen, eine unausgesprochene Annahme zu schützen, indem sie die Bedeutung der Fakten, die sie sehen können, verbiegen. Sie scheinen keine stabile interne Sicht auf die Welt zu haben, an der sie festhalten können, wenn sie herausgefordert werden. Stattdessen rekonstruieren sie ihre Argumente in Echtzeit und verlieren dabei oft den Faden ihrer eigenen Logik.

Dies bedeutet nicht, dass die Maschinen nicht in der Lage sind zu argumentieren, aber es bedeutet, dass ihr Denken fragil ist. Die Studie hebt eine spezifische Schwachstelle hervor: die Unfähigkeit, eine konsistente Struktur von Ansprüchen aufrechtzuerhalten, wenn das Gespräch kompliziert wird. Der Forscher stellt fest, dass dies kein Problem davon ist, dass die Maschinen „schlecht“ oder „täuschend“ sind, sondern vielmehr ein strukturelles Problem in der Art und Weise, wie sie Informationen verarbeiten. Sie sind darauf ausgelegt, hilfreich zu sein und Reibung in einem Gespräch zu reduzieren, was manchmal dazu führt, dass sie Widersprüche auf eine Weise glätten, die die Logik des Arguments bricht. Die Studie geht nicht so weit zu behaupten, dass dies in jedem Gespräch oder mit jedem System geschieht, da sie nur drei spezifische Interaktionen untersuchte. Sie bietet jedoch eine neue Art und Weise, diese Interaktionen zu betrachten, indem sie zeigt, dass der wahre Test einer künstlichen Intelligenz nicht nur darin besteht, was sie sagt, sondern wie sie das, was sie gesagt hat, zusammenhält, wenn das Gespräch schwierig wird. Die Ergebnisse legen nahe, dass für Nutzer, die diese Werkzeuge für komplexe Erklärungen nutzen, die wichtigste Fähigkeit darin bestehen könnte, zu erkennen, wann die Maschine im Stillen die Regeln des Spiels ändert, um die Zahlen passend zu machen, anstatt die Zahlen die Geschichte erzählen zu lassen.