🤖 AI

How Well Do LLMs Perform on the Simplest Long-Chain Reasoning Tasks: An Empirical Study on the Equivalence Class Problem

Dieser Beitrag evaluiert Large Language Models empirisch am Äquivalenzklassenproblem und zeigt, dass zwar reasoning-Modelle nicht-reasoning-Modelle deutlich übertreffen, beide jedoch mit der Aufgabe Schwierigkeiten haben, wobei nicht-reasoning-Modelle am Übergangspunkt der Konnektivität am häufigsten versagen und reasoning-Modelle bei größter Graphendurchmesser ihre maximale Schwierigkeit erfahren.

Ursprüngliche Autoren: Chun Zheng, Lianlong Wu, Bingqian Li, Lvting Liu, Yi Zhou

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Chun Zheng, Lianlong Wu, Bingqian Li, Lvting Liu, Yi Zhou

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wer zu demselben geheimen Club gehört. Sie haben eine Liste von Regeln wie „Alice gehört zum selben Club wie Bob" und „Bob gehört zum selben Club wie Charlie". Wenn Sie diese beiden Regeln kennen, können Sie ableiten, dass Alice und Charlie ebenfalls zum selben Club gehören, auch wenn es niemand ausdrücklich gesagt hat. Dies ist das Äquivalenzklassen-Problem: ein einfaches Logikrätsel über das Verbinden von Punkten.

Dieser Artikel stellt eine sehr spezifische Frage: Können moderne KI-Modelle (Large Language Models) diese Rätsel lösen, wenn die Kette der Verbindungen wirklich lang wird?

Die Forscher testeten zwei Arten von KI:

„Nicht-Reasoning"-Modelle: Die Standard-KI, die schnell das nächste Wort basierend auf Mustern vorhersagt (wie DeepSeek-V3).
„Reasoning"-Modelle: Die neuere, „denkende" KI, die innehält, um einen schrittweisen Plan zu erarbeiten, bevor sie antwortet (wie DeepSeek-R1).

Hier ist das Ergebnis, erklärt durch einfache Analogien:

1. Die „Ein-Schritt"-Mauer (für Standard-KI)

Stellen Sie sich die Standard-KI als sehr klugen, aber kurzsichtigen Touristen vor.

Die gute Nachricht: Wenn Sie fragen: „Ist Alice im selben Club wie Bob?" (ein direkter Link), versteht der Touristen das fast jedes Mal richtig.
Die schlechte Nachricht: Wenn Sie fragen: „Ist Alice im selben Club wie Dave?" und Sie müssen über Bob und Charlie herausfinden (eine Kette von drei), ist der Tourist völlig verloren.
Das Ergebnis: Sobald die Kette länger als ein Schritt wird, bricht die Leistung der Standard-KI zusammen. Sie behandelt „Alice $\to$ Bob $\to$ Charlie" als drei separate, unzusammenhängende Fakten statt als eine verbundene Geschichte. Sie stößt sofort auf eine „Reasoning-Mauer".

2. Der „Erschöpfte Wanderer" (für Reasoning-KI)

Die „Reasoning"-KI ist wie ein Wanderer mit einer detaillierten Karte und einem Kompass.

Die gute Nachricht: Dieser Wanderer ist viel besser. Er kann lange Pfade von Verbindungen erfolgreich verfolgen, die den Touristen verwirren würden. Er verirrt sich nicht schon nach einem Schritt.
Die schlechte Nachricht: Selbst der beste Wanderer wird müde. Die Forscher stellten fest, dass der Wanderer mit zunehmender Länge der Verbindungskette mehr Fehler macht. Es ist kein plötzlicher Absturz wie beim Touristen, sondern ein langsamer, exponentieller Anstieg der Fehler.
Das Ergebnis: Obwohl diese Modelle weit überlegen sind, können sie dennoch nicht jede lange Kette perfekt lösen. Je länger die Kette, desto wahrscheinlicher ist es, dass sie straucheln.

3. Die „Chaos-Zone"

Die Forscher bemerkten etwas Interessantes darüber, wo die Modelle versagen.

Stellen Sie sich die Regeln wie ein Netz von Schnüren vor, die Menschen verbinden.
Für den Touristen (Standard-KI): Sie versagen am stärksten, wenn sich das Netz in einem Zustand des „chaotischen Übergangs" befindet – genau dann, wenn es zu einem riesigen, verwickelten Durcheinander wird. Sie können die strukturelle Komplexität überhaupt nicht bewältigen.
Für den Wanderer (Reasoning-KI): Sie versagen am stärksten, wenn der Weg, den sie gehen müssen, absolut am längsten ist. Ihr Kampf dreht sich nicht um die Unübersichtlichkeit des Netzes, sondern um die reine Länge der Reise, die sie nachverfolgen müssen.

4. Warum „Hinweise" nicht halfen

Die Forscher versuchten, der KI zu helfen, indem sie:

Explizite Regeln gaben (wie ein Regelbuch).
Beispiele dafür zeigten, wie ähnliche Rätsel zuerst gelöst werden.
Sie aufforderten, es mehrfach zu versuchen und die beste Antwort auszuwählen.

Die Überraschung: Keine dieser Tricks löste das Kernproblem.

Dem Touristen ein Regelbuch zu geben, half ihm nicht, die lange Kette zu sehen.
Dem Wanderer Beispiele zu zeigen, hinderte ihn nicht daran, auf langen Wegen müde zu werden.
Das Fazit: Das Problem besteht nicht darin, dass die KI die Regeln nicht kennt; es liegt daran, dass ihr interner „Motor" nicht dafür gebaut ist, eine lange Kette von Logik gleichzeitig im Kopf zu behalten. Es ist eine strukturelle Einschränkung, kein Mangel an Anweisungen.

Das Fazit

Der Artikel kommt zu dem Schluss, dass „Reasoning"-KI zwar ein massiver Fortschritt ist, aber das Problem des perfekten, langkettigen Logikschlusses noch nicht gelöst hat.

Standard-KI ist wie ein Taschenrechner, der nur eine Addition auf einmal durchführen kann.
Reasoning-KI ist wie ein Taschenrechner, der eine lange Summe berechnen kann, aber wenn die Summe zu lang wird, beginnt er Ziffern fallen zu lassen.

Die Autoren warnen, dass wir nicht davon ausgehen sollten, diese Modelle hätten das logische Schlussfolgern „gelöst". Wenn Sie eine KI benötigen, die eine perfekte Logikkette garantiert (wie in komplexen rechtlichen oder sicherheitskritischen Situationen), können diese Modelle dennoch versagen, insbesondere wenn die Probleme größer und komplexer werden.

Technische Zusammenfassung: Äquivalenzklassenproblem und Schlussfolgern in langen Ketten bei LLMs

Problemdefinition

Diese Studie untersucht die Fähigkeiten und Grenzen von Large Language Models (LLMs) bei Aufgaben des Schlussfolgerns in langen Ketten. Um reine logische Deduktion von semantischen Störungen zu isolieren, formalisieren die Autoren das Äquivalenzklassenproblem (EKP). Bei dieser Aufgabe wird einem Modell eine Menge zufällig generierter Äquivalenzrelationen (Kanten in einem Graphen) vorgelegt, und es muss bestimmen, ob zwei spezifische Variablen derselben Äquivalenzklasse angehören (d. h., ob sie verbunden sind).

Mathematisch entspricht dies der Identifizierung von zusammenhängenden Komponenten in einem Erdős-Rényi-Zufallsgraphen $G(n, p)$ . Das Problem erfordert mehrstufige rekursive Deduktion basierend auf der Transitivität von Relationen ( $a=b, b=c \implies a=c$ ). Die Studie variiert die Problemgröße ( $n$ , die Anzahl der Variablen) und die Verbindungswahrscheinlichkeit ( $p$ ), um verschiedene Regime der Graphenkomplexität zu durchlaufen, wobei speziell der Bereich des Phasenübergangs angesteuert wird, in dem die Graphenstruktur von spärlich/unterbrochen zu einer riesigen zusammenhängenden Komponente übergeht.

Methodik

Die Autoren konstruierten eine kontrollierte experimentelle Umgebung, um sowohl Nicht-Reasoning-Modelle (z. B. DeepSeek-V3, Gemini-3-Flash) als auch Reasoning-Modelle (z. B. DeepSeek-R1, DeepSeek-V3.2-thinking, GPT-5-mini) zu bewerten, die Mechanismen des Chain-of-Thought (CoT) nutzen.

Experimentelles Protokoll:

Aufgabenformalisierung: Die Aufgabe wird als binäres Klassifikationsproblem formuliert. Gegeben eine Liste von Kanten $E$ und ein Abfragepaar $(u, v)$ , muss das Modell bezüglich ihrer Äquivalenz „Ja" oder „Nein" ausgeben.
Parametersweep: Die Verbindungswahrscheinlichkeit $p$ wird von 0 bis 1 durchlaufen. Die Probenahmedichte wird in der Nähe kritischer theoretischer Schwellenwerte erhöht: dem Entstehen der riesigen Komponente bei $p \approx \ln n / (n-1)$ und dem spärlichen Regime bei $p \approx 1/n$ .
Metriken: Die Leistung wird durch die Fehlerrate bei variierenden Problemgrößen ( $n$ bis 144) und Inferenztiefen (die kürzeste Pfadlänge zwischen den abgefragten Knoten) gemessen.
Ablationsstudien: Die Autoren testeten verschiedene Interventionen, einschließlich expliziter Regelspezifikation, Domänenrahmenstellung (Logik vs. Graphentheorie), In-Context-Learning (Few-Shot-Beispiele) und Decodierungsstrategien (Pass@K, Temperaturanpassungen).

Hauptergebnisse

1. Divergierende Fehlermodi

Nicht-Reasoning-Modelle: Diese Modelle zeigen eine katastrophale „Reasoning-Wand". Während sie bei einstufigen Deduktionen (Tiefe=1) robust abschneiden, schießt ihre Fehlerrate bei Tiefe=2 sofort in die Höhe und nähert sich bei Tiefe=3 dem Ratenraten an (85%+ Fehler). Ihre Leistung erreicht ihren Höhepunkt bei Fehlern in der Nähe des Phasenübergangspunkts ( $\ln n / (n-1)$ ), was darauf hindeutet, dass sie mit dem topologischen Chaos des Graphen kämpfen und nicht mit der Länge der Kette.
Reasoning-Modelle: CoT-erweiterte Modelle unterdrücken die Fehlerraten im Vergleich zu Nicht-Reasoning-Baselines signifikant. Sie erreichen jedoch keine perfekte Generalisierung. Ihre Fehler zeigen einen tiefenabhängigen Zerfall: Mit zunehmender Länge der Inferenzkette wachsen die Fehlerraten exponentiell (geometrisch). Ihre schwierigsten Instanzen fallen mit dem maximalen Durchmesser des Graphen zusammen, was darauf hindeutet, dass die primäre Engstelle die Länge der Schlussfolgerungskette ist und nicht nur strukturelles Chaos.

2. Skalierungsgrenzen

Mit zunehmender Problemgröße ( $n$ ) steigt die maximale Fehlerrate für Nicht-Reasoning-Modelle stark an und übersteigt bei $n=144$ 90%.
Reasoning-Modelle halten deutlich niedrigere Fehlerraten (z. B. ~1% für DeepSeek-V3.2-thinking bei $n=144$ ), aber eine von Null verschiedene Ausfallrate bleibt bestehen, insbesondere in der Nähe des Phasenübergangs und bei größeren Tiefen.

3. Kontextuelle Robustheit

Verdünnung der Aufmerksamkeit: Reasoning-Modelle leiden unter Leistungsverschlechterung, wenn sie erforderlich sind, mehrere Abfragen innerhalb eines einzigen Kontextfensters zu lösen (hoch-interferierende Einstellungen), was auf eine Einschränkung bei der Aufrechterhaltung des logischen Zustands über ausgedehnte Interaktionsrunden hinweg hindeutet.
Intrinsische Grenzen: Selbst in den günstigsten „niedrig-interferierenden" Einstellungen (eine Abfrage pro Graph) erreichen Reasoning-Modelle in der Nähe des Phasenübergangs keine Null-Fehler-Rate, was auf intrinsische Defizite bei der Generalisierung von Äquivalenzregeln im Maßstab hinweist und nicht nur auf Kontextfensterbeschränkungen.

4. Ablationsbefunde

Prompt-Engineering: Die Bereitstellung expliziter logischer Regeln, Rollenspiele oder Few-Shot-Beispiele bringt für Nicht-Reasoning-Modelle vernachlässigbare Gewinne. Dies deutet darauf hin, dass das Versagen struktureller Natur ist (Unfähigkeit, rekursives Zustands-Tracking auszuführen) und nicht informativer.
Domänenrahmenstellung: Die Formulierung der Aufgabe als Problem der „Graphentheorie" (zusammenhängende Komponenten) schneidet für Nicht-Reasoning-Modelle deutlich besser ab als eine abstrakte „Logik"-Formulierung, was impliziert, dass das Aktivieren spezifischer algorithmischer Teilräume in den Trainingsdaten des Modells effektiver ist als abstrakte Deduktion.
Decodierung: Die Erhöhung der Diversität durch höhere Temperatur und Pass@5-Sampling verbessert die Robustheit, scheitert jedoch daran, Fehler am kritischen Phasenübergang zu eliminieren.

Hauptbeiträge

Kontrollierter Benchmark: Das Papier etabliert das Äquivalenzklassenproblem als rigorosen, synthetischen Benchmark zur Bewertung der reinen logischen Schlussfolgerungsgrenzen von LLMs, frei von Datenkontamination und semantischem Rauschen.
Charakterisierung des Nicht-Reasoning-Versagens: Es zeigt quantitativ, dass Standard-Transformer-Architekturen keine zuverlässige mehrstufige Deduktion über einstufige Aufgaben hinaus durchführen können, unabhängig von Modellgröße oder Prompt-Engineering.
Grenzen von Reasoning-Modellen: Es widerlegt die Annahme, dass Reasoning-Modelle die logische Generalisierung gelöst haben, und zeigt, dass selbst state-of-the-art CoT-Modelle unter exponentieller Fehlerakkumulation leiden, wenn die Schlussfolgerungstiefe zunimmt.
Architektonische vs. Instruktionsdefizite: Die Studie liefert empirische Belege dafür, dass statisches Prompt-Engineering nicht ausreicht, um strukturelle Schlussfolgerungshürden zu überwinden, und unterstreicht die Notwendigkeit von „System-2"-aktiven Berechnungsmechanismen, die über aktuelle CoT-Implementierungen hinausgehen.

Bedeutung und Behauptungen

Das Papier behauptet, dass LLMs zwar erhebliche Fortschritte gemacht haben, ihre Fähigkeit zur garantierten mehrstufigen Schlussfolgerung jedoch fundamental begrenzt bleibt. Die Ergebnisse deuten darauf hin, dass:

Nicht-Reasoning-Modelle nicht in der Lage sind, das für lange Ketten erforderliche rekursive Zustands-Tracking durchzuführen.
Reasoning-Modelle, obwohl überlegen, immer noch einer Fehlerakkumulation unterliegen, die es ihnen unmöglich macht, beliebig lange logische Ketten perfekt zu lösen.
Der beobachtete „Reasoning-Zusammenbruch" eine intrinsische architektonische Begrenzung ist und nicht das Ergebnis unzureichender Anweisungen oder Trainingsdaten.

Folglich warnen die Autoren vor dem Einsatz aktueller LLMs in Bereichen, die strenge logische Garantien erfordern (z. B. formale Verifikation, rechtliche Schlussfolgerungen), ohne diese systematischen Fehlermodi anzuerkennen. Die Studie kommt zu dem Schluss, dass das Äquivalenzklassenproblem eine offene Herausforderung bleibt, die zukünftige Arbeiten zu Aufmerksamkeitsdynamiken und gezieltem Fine-Tuning erfordert, um die effektive Schlussfolgerungstiefe zu erweitern.