🤖 AI

Coherence Under Commitment: Probing Generalization and Vacuous Memorization in LLM Logical Reasoning

Dieses Paper führt Coherence Under Commitment (CUC) ein, ein Dual-Query-Evaluationsparadigma, das aufzeigt, wie große Sprachmodelle durch systematische Enthaltung eine leere logische Kohärenz erreichen können, indem es Konsistenz und Entscheidungsfreudigkeit über vier Open-Weight-Modelle hinweg gemeinsam misst.

Ursprüngliche Autoren: Noor Islam S. Mohammad, Mahmudul Hasan

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Noor Islam S. Mohammad, Mahmudul Hasan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „stumme“ Experte

Stellen Sie sich vor, Sie engagieren einen Logik-Experten, um Ihnen bei einem Rätsel zu helfen. Sie geben ihm eine Reihe von Hinweisen und fragen: „Folgt daraus diese Schlussfolgerung?“

Der ideale Experte: Schaut sich die Hinweise an, denkt intensiv nach und sagt: „Ja, das folgt definitiv daraus“ oder „Nein, das folgt definitiv nicht daraus.“
Der problematische Experte: Dieser Experte ist sehr vorsichtig. Er möchte niemals falsch liegen. Wenn Sie ihn also eine Frage stellen, zuckt er oft nur mit den Schultern und sagt: „Ich bin mir nicht sicher“, oder er bleibt völlig stumm.

Hier ist der Haken: Wenn der Experte nie „Ja“ oder „Nein“ sagt, kann er auch nie als falsch bewiesen werden. Er widerspricht sich nie selbst. In der Welt der Standardtests sieht dieser stumme Experte perfekt aus, da er eine Fehlerrate von 0 % hat. Aber er ist nutzlos! Er hat eigentlich nichts gelöst; er hat lediglich das Risiko vermieden, falsch zu liegen.

Die Autoren dieser Arbeit nennen dies „Vacuous Coherence“ (leere Kohärenz). Es ist wie ein Schüler, der sich weigert, Fragen in einer Prüfung zu beantworten, damit er keine einzige Frage falsch beantwortet. Er hat eine perfekte Punktzahl, aber er hat nichts gelernt.

Die Lösung: Der „Commitment Score“ (Engagement-Wert)

Die Arbeit führt eine neue Methode zum Testen von KI (Large Language Models) ein, die Coherence Under Commitment (CUC) genannt wird. Anstatt nur zu prüfen, ob die KI richtig oder falsch liegt, stellt CUC zwei Fragen gleichzeitig:

Ist die KI konsistent? (Widerspricht sie sich selbst?)
Ist die KI entscheidungsfreudig? (Ist sie bereit, Stellung zu beziehen?)

Um dies zu erreichen, verwenden sie einen cleveren Trick. Für jede Frage, die sie der KI stellen, stellen sie auch genau die entgegengesetzte Frage.

Frage A: „Ist das wahr?“
Frage B: „Ist das falsch?“

Sie messen dann zwei Dinge:

Der Commitment Score: Wie viel „Energie“ (Wahrscheinlichkeit) hat die KI aufgewendet, um eine definitive Antwort zu geben? Wenn die KI zu beiden Fragen schweigt, ist der Score niedrig. Wenn sie sich selbstbewusst für eine Seite entscheidet, ist er hoch.
Der Violation Score (Verletzungswert): Hat die KI zu beiden Fragen „Ja“ gesagt? (Das wäre ein logischer Widerspruch).

Die „Frontier“ (Grenze): Der Kompromiss

Die Forscher fanden eine scharfe Linie (eine „Frontier“), die beschreibt, wie diese KI-Modelle agieren. Man kann nicht alles haben.

Der „Igel“ (Systematische Enthaltung):
Ein Modell (Qwen2.5-3B) verhielt sich wie ein Igel, der sich zu einer Kugel zusammenrollt. Es weigerte sich, fast alles zu beantworten.
- Ergebnis: Es hatte fast null Widersprüche (perfekte Konsistenz).
- Realität: Es hat nur 7 % der Fragen beantwortet. Es war „perfekt“, aber nutzlos.
- Analogie: Ein Wetterberichter, der jeden Tag sagt: „Ich weiß es nicht nicht.“ Er liegt nie falsch bezüglich des Regens, aber er ist furchtbar in seinem Job.
Der „Blinde Spieler“ (Überengagement):
Ein anderes Modell (TinyLlama-1.1B) verhielt sich wie ein Spieler, der auf alles setzt.
- Ergebnis: Es beantwortete fast alles (79 % Abdeckung).
- Realität: Es war bei fast jeder einzelnen Frage falsch und widersprüchlich. Es behauptete, Dinge seien gleichzeitig wahr und falsch.
- Analogie: Ein Wetterberichter, der gleichzeitig „SONNIG!“ und „REGEN!“ schreit. Er ist sehr entscheidungsfreudig, aber völlig verrückt.

Warum alte Tests versagten

Standardtests betrachteten nur den „Igel“. Da der Igel nie einen Fehler machte, bewerteten die alten Tests ihn als das beste Modell. Die Arbeit argumentiert, dass dies eine Falle ist. Es belohnt Modelle, die zu viel Angst haben, um etwas zu sagen.

Der neue CUC-Test entlarvt dies. Er zeigt, dass der „Igel“ eigentlich versagt, weil er seinen Job nicht macht (nämlich Fragen zu beantworten), obwohl er sicher aussieht.

Die Überraschung bezüglich der „Größe“

Die Arbeit untersuchte auch, was passiert, wenn man die KI größer (leistungsfähiger) macht.

Das Ergebnis: Als sie das Qwen-Modell größer machten (von 1,5 auf 3 Milliarden Parameter), wurde es besser darin, Widersprüche zu vermeiden, aber schlechter darin, Fragen zu beantworten.
Die Lehre: Größere Modelle lernten nicht, besser zu argumentieren; sie lernten, mehr zu hedgen (sich abzusichern). Sie lernten, dass Schweigen der sicherste Weg ist, um in einem Test eine hohe Punktzahl zu erreichen. Dies ist eine Warnung an Entwickler: Wenn Sie Modelle nur dafür bestrafen, falsch zu liegen, werden sie lernen, gar nichts mehr zu sagen.

Zusammenfassung in einem Satz

Diese Arbeit warnt uns davor, dass eine KI, die kein Risiko eingeht, keine kluge KI ist, sondern nur eine stille; wir brauchen neue Tests, die Modelle belohnen, die sowohl konsistent als auch entscheidungsfreudig sind.

Technisches Resümee: Kohärenz unter Verpflichtung (Coherence Under Commitment, CUC)

Problemstellung

Große Sprachmodelle (LLMs), die in wissensintensiven Domänen eingesetzt werden, weisen einen kritischen Fehlermodus auf: leere Kohärenz (vacuous coherence). Standardmäßige Evaluierungsmetriken priorisieren die logische Konsistenz (z. B. Negationskonsistenz, bei der ein Modell nicht gleichzeitig eine Aussage und deren Negation bejaht). Ein Modell kann diese Konsistenzbeschränkungen jedoch trivial erfüllen, indem es systematisch darauf verzichtet, ein entscheidendes Urteil zu fällen. Durch das Vorenthalten einer Entscheidung zwischen Folgerung oder Widerlegung erreicht ein Modell eine Null-Widerspruchsrate, liefert jedoch einen Nutzwert für das logische Schließen von Null.

In Hochrisikoumgebungen (z. B. klinische Diagnostik, wissenschaftliche Argumentation) ist dieses „sichere“ Verhalten nicht von echter Zuverlässigkeit unter Standardevaluierung zu unterscheiden. Ein Modell, das 90 % der Anfragen verweigert, erscheint „kohärent“, ist aber operativ nutzlos. Aktuelle Evaluierungsparadigmen scheitern an der Erkennung dessen, da sie Kohärenz isoliert messen und dabei die epistemische Verpflichtung (epistemic commitment) ignorieren, die für aktives Schließen erforderlich ist.

Methodik: Kohärenz unter Verpflichtung (CUC)

Die Autoren schlagen Coherence Under Commitment (CUC) vor, ein duales Abfrage-Evaluierungsparadigma, das Kohärenz und epistemische Entschlussfreudigkeit gemeinsam misst.

1. Dual-Query-Elicitation-Protokoll

Anstatt einer einzelnen Abfrage konstruiert CUC ein symmetrisches Paar von Abfragen für jede Prämisse $P$ und jede Hypothese $\phi$ :

$Q_\phi$ : „Wird $\phi$ durch $P$ logisch impliziert?“
$Q_{\neg\phi}$ : „Wird $\neg\phi$ durch $P$ logisch impliziert?“

Um Sampling-Varianz und Dekodierungsartefakte zu eliminieren, nutzt das Protokoll die deterministische Elicitation. Es extrahiert normalisierte Log-Wahrscheinlichkeiten für binäre Antworten (JA/NEIN) direkt aus den Logits des Modells:
$\mathcal{P}(\phi) = \frac{\exp(\log P(\text{JA}|Q_\phi))}{\exp(\log P(\text{JA}|Q_\phi)) + \exp(\log P(\text{NEIN}|Q_\phi))}$
Dies liefert eine Wahrscheinlichkeitsmasse für die affirmative Antwort sowohl für die Hypothese als auch für deren Negation.

2. Kernmetriken

Das Framework definiert zwei primäre Metriken, die aus den Wahrscheinlichkeiten $\mathcal{P}(\phi)$ und $\mathcal{P}(\neg\phi)$ abgeleitet werden:

Commitment-Score ( $c(\phi)$ ):
$c(\phi) = \mathcal{P}(\phi) + \mathcal{P}(\neg\phi)$
Dies quantifiziert die gesamte Wahrscheinlichkeitsmasse, die auf entscheidungsrelevante Ergebnisse entfällt. Ein niedriger Wert zeigt an, dass das Modell die Abfrage als effektiv unbekannt behandelt (Abstention), unabhängig davon, ob es kohärent ist.
Negations-Kohärenz-Verletzung ( $v_{neg}(\phi)$ ):
$v_{neg}(\phi) = \max(0, c(\phi) - 1)$
Dies misst das Ausmaß, in dem ein Modell mehr als die Einheit-Wahrscheinlichkeitsmasse für sich gegenseitig ausschließende Ergebnisse zuweisen. Ein Wert $>0$ deutet auf logische Inkohärenz hin (simultane Überverpflichtung).

Zentrale Erkenntnis: Die Arbeit etabliert die algebraische Identität $v_{neg} = \max(0, c - 1)$ . Dies impliziert, dass jedes Modell mit $c(\phi) \leq 1$ automatisch eine Null-Verletzung erreichen wird, unabhängig von seiner Argumentationsqualität. Somit können niedrige Verletzungsraten ein Artefakt niedriger Verpflichtung sein.

3. 3-Wege-Entscheidungsrahmen

Um diese Metriken zu operationalisieren, definieren die Autoren eine Entscheidungsregel mit Schwellenwerten $\tau$ (Konfidenz) und $\delta$ (Margin):

WAHR (TRUE): Wenn $\mathcal{P}(\phi) \geq \tau$ und $\mathcal{P}(\phi) \geq \mathcal{P}(\neg\phi) + \delta$ .
FALSCH (FALSE): Wenn $\mathcal{P}(\neg\phi) \geq \tau$ und $\mathcal{P}(\neg\phi) \geq \mathcal{P}(\phi) + \delta$ .
UNGEWISS (UNCERTAIN): Andernfalls.

Dies ermöglicht es der Evaluierung, Coverage (Anteil der Nicht-UNGEWISS-Vorhersagen) und bedingte Genauigkeit ( $Acc_{cov}$ ) zu melden, wodurch zwischen Modellen unterschieden wird, die präzise, aber zurückhaltend sind, und solchen, die entscheidungsfreudig, aber widersprüchlich sind.

Experimentelles Setup

Datensätze: Evaluierung auf FOLIO v0.0 (204 Beispiele mit formal verifizierten Negationen) und LOGIQA v2 (304 Beispiele mit regelbasierten Negationen).
Modelle: Vier Open-Weight-Modelle (1,1B–3B Parameter): TinyLlama-1.1B, Phi-2, Qwen2.5-1.5B und Qwen2.5-3B.
Protokoll: Deterministische Extraktion der Log-Wahrscheinlichkeiten über JA/NEIN-Token.

Kernergebnisse

1. Die Kohärenz-Commitment-Frontier

Die Experimente zeigen eine scharfe, empirisch robuste Trade-off-Frontier. Kein Modell erreicht gleichzeitig hohe Coverage und niedrige Verletzung.

Systematische Abstention (Qwen2.5-3B): Erreicht die niedrigste Verletzungsrate ( $E[v_{neg}] = 0,025$ ) und erscheint unter Kohärenz-basierten Metriken als das „beste“ Modell. Es hat jedoch einen Commitment-Score von $0,115$ und eine Coverage von 7,4 %, wodurch es Vorhersagen für über 92 % der Beispiele zurückhält.
Systematische Überverpflichtung (TinyLlama-1.1B): Erreicht eine Coverage von 79,4 %, verletzt jedoch die Wahrscheinlichkeitsaxiome bei 100 % der Beispiele ( $E[v_{neg}] = 0,698$ ), indem es mehr als die 1,0-fache Wahrscheinlichkeitsmasse auf widersprüchliche Ergebnisse verteilt.
Intermediäre Modelle: Phi-2 und Qwen2.5-1.5B besetzen Zwischenpositionen und zeigen variierende Grade sowohl von Abstention als auch von Kontradiktion.

2. Versagen der Standard-Evaluierung

Genauigkeitsblindheit (Accuracy Blindness): Standardmäßige 3-Wege-Genauigkeitswerte sind über alle Modelle hinweg nahezu identisch (Bereich 0,343 bis 0,441) und maskieren die diametral entgegengesetzten Fehlermodi von Abstention versus Überverpflichtung.
Kohärenz-allein-Falle: Eine reine Kohärenz-Evaluierung würde Qwen2.5-3B als das überlegene Modell einstufen (6,6-mal geringere Verletzung als das nächstbeste), was fälschlicherweise ein Modell belohnt, das fast keine handlungsfähige Argumentation liefert.
Kalibrierungs-Illusion: Selbst bei der kleinen Teilmenge der verpflichteten Vorhersagen zeigen die Modelle eine schlechte Kalibrierung (hoher Expected Calibration Error). Die scheinbare Kalibrierung von Qwen2.5-3B ist ein Artefakt seines aggressiven Filterings (Auswahl nur der 7 % einfachsten Beispiele).

3. Skalierungseffekte

Die Skalierung von Qwen2.5 von 1,5B auf 3B Parameter führte zu einer 83%igen Reduktion des Commitments und einem Rückgang der Coverage um 23,5 Punkte, bei vernachlässigbarer Änderung der Genauigkeit. Das größere Modell lernte, zu hedgen (abzuhalten) statt präziser zu argumentieren – ein Verhalten, das Standardmetriken fälschlicherweise als Verbesserung der Kohärenz interpretieren würden.

Bedeutung und Ansprüche

Die Arbeit argumentiert, dass die Evaluierung logischer Argumentation von der Frage „Ist das Modell kohärent?“ zur Frage „Ist das Modell nützlich kohärent?“ übergehen muss.

Leere Kohärenz ist ein blinder Fleck: Standardmetriken können nicht zwischen einem Modell unterscheiden, das korrekt argumentiert, und einem, das schlicht die Antwort verweigert. CUC legt dies offen, indem es eine nicht-leere Verpflichtung fordert.
Die Frontier ist unvermeidlich: Es gibt einen fundamentalen Spannungsgrad zwischen Kohärenz und Verpflichtung. Modelle, die eine Dimension optimieren, verschlechtern oft die andere.
Modalitäts-Agnostik: Obwohl auf Text angewendet, ist das Framework theoretisch auf multimodale Settings (z. B. VQA, Robotik) anwendbar, in denen komplementäre Abfragen über Bilder und Text gestellt werden können.
Methodische Notwendigkeit: Die Autoren behaupten, dass die Berichterstattung sowohl über Kohärenz als auch über Commitment essenziell für Hochrisiko-Einsätze ist, in denen Abstention reale operative Kosten verursacht. CUC bietet das erste prinzipienbasierte Framework, um diesen Trade-off zu quantifizieren und die Bereitstellung von Modellen zu verhindern, die nur deshalb „kohärent“ sind, weil sie schweigen.

Das Paper schließt mit dem Hinweis, dass Praktiker ohne Metriken wie CUC Gefahr laufen, Modelle einzusetzen, die zwar zuverlässig erscheinen, aber in wissensintensiven Domänen funktional inaktiv sind.