🤖 AI

Humans Disengage, Reasoning Models Persist: Separating Difficulty Registration from Deliberation Allocation

Diese Arbeit zeigt auf, dass sowohl große Reasoning-Modelle als auch Menschen zwar insgesamt mehr Zeit für schwierigere Probleme aufwenden, sie jedoch gegensätzliche interne Strategien verfolgen: Menschen verbringen weniger Zeit mit Problemen, an denen sie letztlich scheitern (was auf strategisches Desengagement hindeutet), während Modelle bei ihren Fehlversuchen mehr Token verbrauchen (was auf eine durch Unsicherheit getriebene Deliberation hindeutet), eine kritische Divergenz, die durch Standardmetriken der Schwierigkeitskorrelation maskiert wird.

Ursprüngliche Autoren: Han-yu Wang

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Han-yu Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Zwei Arten des Denkens

Stellen Sie sich vor, Sie machen einen schwierigen Test. Sie haben zwei Möglichkeiten, wie Sie reagieren, wenn Sie bei einer Frage nicht weiterkommen:

Die „Aufgeben“-Strategie: Sie merken: „Das ist gerade zu schwer für mich“, und hören schnell auf, darüber nachzudenken, um Energie für die nächste Frage zu sparen.
Die „Weitermachen“-Strategie: Sie merken: „Das ist schwer“, also starren Sie die Frage weiter an, schreiben mehr Notizen und versuchen es intensiver, selbst wenn Sie am Ende falsch liegen.

Diese Arbeit stellt fest, dass Menschen meistens die erste Strategie nutzen, während KI-Reasoning-Modelle (die neuesten, intelligenten KIs) die zweite nutzen.

Der Aufbau: Eine oberflächliche Ähnlichkeit

Lange Zeit dachten Forscher, dass KI und Menschen auf die gleiche Weise denken. Sie bemerkten ein Muster:

Wenn ein Mensch vor einem schwierigen Rätsel steht, braucht er lange, um es zu lösen.
Wenn eine KI vor einem schwierigen Rätsel steht, generiert sie eine lange Kette von „Denk-Text“ (Tokens), bevor sie antwortet.

Es sah so aus, als würden beide sagen: „Schwieriges Problem = Mehr Aufwand.“ Die Arbeit nennt dies „Difficulty Registration“ (Schwierigkeitsregistrierung). Sowohl Menschen als als auch KI sind sich einig darüber, welche Probleme schwer sind.

Die Wendung: Was passiert, wenn sie scheitern?

Die Autoren gruben tiefer. Sie schauten nicht nur darauf, wie lange es dauerte, ein Problem zu lösen; sie untersuchten, was passierte, wenn die Antwort falsch war.

Menschen: Wenn Menschen eine Frage falsch beantworten, haben sie meistens weniger Zeit dafür aufgewendet. Sie erkannten frühzeitig, dass es ein aussichtsloses Unterfangen war, und machten weiter.
- Analogie: Stellen Sie sich vor, Sie versuchen, einen kaputten Toaster zu reparieren. Wenn Sie merken, dass der Stecker fehlt, hören Sie sofort auf, daran herumzufummeln. Sie verschwenden keine 20 Minuten damit, zu versuchen, einen Toaster zu reparieren, der nicht eingesteckt ist.
KI-Modelle: Wenn diese KI-Modelle eine Frage falsch beantworten, haben sie mehr Zeit aufgewendet (mehr Text generiert), als wenn sie sie richtig beantwortet hätten. Sie haben weiter „gedacht“, selbst als sie bereits scheiterten.
- Analogie: Stellen Sie sich vor, der Toaster ist nicht eingesteckt. Die KI versucht weiterhin, Knöpfe zu drücken, die Tür zu öffnen und die Heizstäbe zu prüfen, während sie 20 Minuten lang einen riesigen Bericht über ihren Kampf erstellt, bevor sie schließlich zugibt: „Oh, er ist nicht eingesteckt.“

Die zwei Ebenen des Denkens

Die Arbeit trennt das Denken in zwei deutliche Schritte:

Registration (Wahrnehmung): „Ist dieses Problem schwer?“ (Sowohl Menschen als auch KI sagen bei denselben schwierigen Problemen „Ja“).
Allocation (Entscheidung): „Jetzt, wo ich weiß, dass es schwer ist, was soll ich tun?“
- Menschen: „Es ist schwer und ich stecke fest? Ich höre auf und versuche etwas anderes.“ (Disengagement/Abkehr).
- KI: „Es ist schwer und ich stecke fest? Ich denke noch intensiver nach und schreibe mehr.“ (Persistence/Beharrlichkeit).

Warum macht die KI das?

Die Autoren vermuten, dass die KI nicht im menschlichen Sinne „stur“ ist, sondern von Unsicherheit getrieben wird.

Wenn die KI unsicher ist, sagt ihr interner Programmiercode ihr, dass sie weiter Text generieren soll, um die Antwort zu finden.
Unglücklicherweise passiert es genau bei den Problemen, bei denen sie am unsichersten ist, dass sie scheitert. So schreibt die KI also genau dann die längsten und detailliertesten „Denkketten“, wenn sie die Antwort falsch hat.
Es ist wie ein Detektiv, der immer mehr Notizen schreibt, wenn er verwirrt ist, anstatt zu erkennen, dass er auf dem falschen Fall ist, und aufzuhören.

Die „menschliche“ Seite der Geschichte

Die Arbeit erklärt auch, warum Menschen anders reagieren. Menschen haben ein Konzept von Engagement vs. Abandonment (Engagement vs. Aufgabe).

Wenn ein Mensch versucht, ein Problem zu lösen und schnell stecken bleibt, erkennt er oft: „Das werde ich nicht lösen“, und hört auf. Das ist „Abandonment“ (Aufgabe).
Wenn er weitermacht und es schließlich löst, hat er viel Zeit damit verbracht.
Die Daten zeigen, dass Menschen ihre Zeit für die Probleme aufwenden, die sie erwarten zu lösen, und die Probleme aufgeben, die sie nicht lösen können.

Das Fazit: Gleiche Karte, anderer Kompass

Die Arbeit kommt zu dem Schluss, dass KI und Menschen zwar oberflächlich ähnlich aussehen (beide brauchen länger bei schwierigen Dingen), aber tatsächlich völlig unterschiedliche Regeln dafür nutzen, wie sie ihre Zeit verbringen.

Die Metrik-Falle: Vorherige Studien betrachteten nur die „Karte“ (welche Probleme sind schwer). Sie sahen, dass KI und Menschen übereinstimmten.
Die Realität: Wenn man jedoch auf den „Kompass“ schaut (wie sie mit Fehlern umgehen), zeigen sie in entgegengesetzte Richtungen.

Kurz gesagt: Menschen sind gut darin zu wissen, wann man ein schlechtes Problem aufgeben sollte, um Energie zu sparen. Aktuelle KI-Modelle sind schlecht im Aufgeben; sie „denken“ weiter (generieren Text), selbst wenn sie sich nur im Kreis drehen, was ihr „Denken“ genau dann länger macht, wenn sie am wahrscheinlichsten falsch liegen.

Was das für die Zukunft bedeutet (laut der Arbeit)

Die Arbeit behauptet nicht, dass dies ein klinisches Problem oder eine spezifische Lösung für KI ist. Stattdessen schlägt sie eine neue Art vor, KI zu testen.

Der Test: Wenn man das „Denken“ der KI vorzeitig abbricht (Truncation/Abschneiden), wird sie die Antwort dann immer noch richtig beantworten?
Die Vorhersage: Wenn die KI ihre Antwort nur „aufbläht“, weil sie verwirrt ist, wird das Abschneiden ihre Genauigkeit kaum beeinträchtigen (da sie nur Zeit verschwendet hat). Wenn die KI jedoch tatsächlich nützliche Arbeit geleistet hat, würde das Abschneiden dazu führen, dass sie scheitert. Die Autoren legen nahe, dass dieser Test notwendig ist, um zu sehen, ob das zusätzliche „Denken“ der KI tatsächlich hilfreich ist oder nur ein Zeichen von Verwirrung.

Technisches Resümee: Menschen ziehen sich zurück, Reasoning-Modelle persistieren

Problemstellung
Jüngste Arbeiten (de Varda et al., 2025) etablierten eine oberflächliche Übereinstimmung zwischen Large Reasoning Models (LRMs) und Menschen: Beide Systeme generieren längere Reasoning-Spuren (oder benötigen mehr Zeit) bei schwierigeren Aufgaben. Diese „Cross-Item-Alignment“ deutet darauf an, dass LRMs Schwierigkeit ähnlich wie Menschen registrieren. Diese Korrelation vermischt jedoch zwei unterschiedliche kognitive Prozesse: Schwierigkeitsregistrierung (Bewertung von Items nach Schwierigkeit) und Deliberationsallokation (Entscheidung darüber, wie viel Rechenleistung für ein spezifisches Item aufgewendet wird, sobald dessen Schwierigkeit bekannt ist).

Die Arbeit argumentiert, dass Cross-Item-Korrelationen unzureichend sind, um eine mechanistische Ähnlichkeit zu behaupten, da sie nicht offenlegen, wie ein Agent die Berechnung relativ zu seinen eigenen Erfolgen und Misserfolgen plant. Es ist unklar, ob LRMs, ähnlich wie Menschen, mehr Aufwand für Items aufwenden, die sie zu lösen erwarten (Engagement), oder ob sie den Aufwand basierend auf einem anderen Signal aufwenden, wie etwa Unsicherheit, selbst wenn dieser Aufwand zum Scheitern führt.

Methodik
Die Studie führt ein zweistufiges Diagnostikverfahren ein, um Registrierung von Allokation zu trenen, unter Verwendung eines öffentlichen, gematchten Human–LRM-Korpus über drei Reasoning-Paradigmen: H-ARC (visuelle Abstraktion), INTUIT (intuitive Physik) und Cortes (binäre relationale Logik).

Schwierigkeitsregistrierung (Probe 1): Die Autoren replizieren die Cross-Item-Analyse, indem sie die Länge der LRM-Reasoning-Spur mit der menschlichen Reaktionszeit (RT) über die Items hinweg korrelieren.
Deliberationsallokation (Probe 2): Die Kerninnovation ist eine ergebnisbedingte, item-kontrollierte Diagnostik. Die Autoren fragen: Verbringt ein Agent bei einem festen Item mehr Zeit mit Deliberation bei Durchgängen, die er korrekt beantwortet, im Vergleich zu Durchgängen, die er falsch beantwortet?
- Metrik: Das innerhalb-des-Agenten $d$ -Verhältnis, definiert als die Cohen's $d$ auf die Log-Deliberationszeit (Sekunden für Menschen, Tokens für LRMs) zwischen falschen und richtigen Durchgängen: $d = (\bar{\ell}_{wrong} - \bar{\ell}_{right}) / s_{pooled}$ .
- Kontrollen: Um die Allokation von der Schwierigkeit zu isolieren, verwendet die Analyse Item-Fixed-Effects (die Identität des Items absorbierend) und Schwierigkeits-kontrollierte Regressionen. Dies stellt sicher, dass der Vergleich strikt innerhalb desselben Items stattfindet, wodurch verhindert wird, dass Cross-Item-Schwierigkeitsgradienten das Ergebnis konfundieren.
- Normalisierung: Die Deliberation wird innerhalb der nativen Skala des jeweiligen Agenten gemessen (Sekunden vs. Tokens); absolute Magnituden werden niemals direkt verglichen.
- Modelle: Sechs Open-Weight Thinking LRMs (z. B. DeepSeek-R1, Qwen-QwQ, gpt-oss) und eine Non-Thinking-Baseline (DeepSeek-V3) werden gegen gematchte menschliche Stichproben verglichen.

Wichtigste Ergebnisse
Die Studie findet eine Dissoziation zwischen Registrierung und Allokation:

Registrierung (Alignment): Denkende LRMs und Menschen stimmen darin überein, welche Items schwierig sind. Die LRM-Spurlänge korreliert positiv mit der menschlichen RT über die Items hinweg (Spearman $\rho = 0,16–0,30$ ), was de Varda et al. (2025) repliziert.
Allokation (Divergenz): Soblich die Item-Identität fixiert ist, zeigen die beiden Systeme gegensätzliche Allokationsstrategien:
- Menschen: Zeigen ein negatives oder nahezu Null liegendes $d$ -Verhältnis ( $d = -0,10$ bei H-ARC). Menschen verbringen weniger Zeit mit Durchgängen, die sie falsch beantworten, was konsistent mit einer Engagement-vs.-Abandonment-Strategie ist: Sie persistieren bei Items, die sie zu lösen erwarten, und ziehen sich (abandon) bei jenen zurück, die sie nicht lösen können.
- Denkende LRMs: Zeigen ein großes positives $d$ -Verhältnis ( $d = 1,47–3,13$ bei H-ARC). LRMs verwenden mehr Tokens bei Fehlern. Dies deutet auf eine Length-on-Uncertainty-Policy hin: Die Ketten wachsen, wenn das Modell unsicher ist, was genau der Zeitpunkt ist, an dem es tendenziell scheitert.
- Non-Thinking-Baseline: Die Non-Thinking-Baseline DeepSeek-V3 zeigt ebenfalls ein positives $d$ -Verhältnis bei einigen Aufgaben, was darauf hindeutet, dass die Längenexpansion unter Unsicherheit eine Eigenschaft der Basisgenerierung sein könnte und nicht unbedingt eine spezifische „Reasoning“-Allokationspolitik, wenngleich die Thinking-Modelle stärkere Effekte zeigen.
Inhalt der Spuren: Innerhalb der LRM-Spuren enthalten falsche Durchgänge eine höhere Dichte an Selbstzweifel-Markern (z. B. „warte“, „hm“) auf H-ARC und eine höhere lexikalische Repetition auf Cortes, was die Interpretation stützt, dass die Länge durch Unsicherheit statt durch produktive Suche getrieben wird.

Beiträge

Konzeptionelle Dekomposition: Die Arbeit trennt formal die Schwierigkeitsregistrierung von der Deliberationsallokation und zeigt, dass Cross-Item-Alignment keine gemeinsamen Stopping-Policies impliziert.
Neue Diagnostik: Sie führt das ergebnisbedingte, item-kontrollierte $d$ -Verhältnis als notwendigen Test für die Human–LRM-Alignment in der metakognitiven Kontrolle ein.
Empirische Erkenntnis: Sie zeigt auf, dass LRMs und Menschen zwar übereinstimmen, was schwer ist, sich aber fundamental darin unterscheiden, wie sie auf diese Schwierigkeit reagieren. Das scheinbare Alignment in vorangegangener Arbeit maskierte eine entgegengesetzte Allokationspolitik.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die beobachtete Dissoziation die Sichtweise herausfordert, dass LRMs eine menschenähnliche metakognitive Kontrolle implementieren.

Metakognitive Entkopplung: Die Ergebnisse legen nahe, dass in aktuellen denkenden LRMs die Unsicherheitsüberwachung (signalisiert durch Hedging oder Länge) von der Stopping-Kontrolle entkoppelt ist. Menschen nutzen die Überwachung, um den Aufwand zu steuern (Abbruch bei geringem Wert), während LRMs offenbar weiterhin Tokens generieren, wenn sie unsicher sind, ungeachtet des sinkenden Grenznutzens für die Genauigkeit.
Ressourcenrationale Interpretation: Unter einem ressourcerationalen Rahmen ist das menschliche Muster konsistent mit einer Stopping-Regel, die den Aufwand zurückzieht, wenn der erwartete Grenznutzen verschwindet. Das LRM-Muster impliziert entweder ein Versagen der Bedingung des erwarteten Gewinns an item-spezifische Merkmale oder ein anderes Optimierungsziel als die Aufgaben-Genauigkeit (z. B. längenbedingte Präferenzen).
Methodischer Wandel: Die Autoren argumentieren, dass zukünftige kognitive Modellierung von LRMs Cross-Item-Registrierungstests mit Within-Item-Allokationstests kombinieren muss. Die alleinige Abhängigkeit von Cross-Item-Korrelationen reicht nicht aus, um mechanistische Ähnlichkeit zu behaupten.

Limitierungen und zukünftige Richtungen
Die Autoren stellen explizit klar, dass ihre Befunde observational sind und nicht den kausalen Wert der zusätzlichen Tokens beweisen. Sie behaupten nicht, dass LRMs „irrational“ sind, sondern dass sie eine andere ressourcerationale Policy implementieren. Die Arbeit schlägt die kontrollierte Inferenzzeit-Trunkierung als notwendigen nächsten Schritt vor, um zwischen „Length-on-Uncertainty“ (wo Trunkierung die Genauigkeit nicht beeinträchtigen würde) und „Useful Search“ (wo Trunkierung die Leistung verschlechtern würde) zu differenzieren – ein Test, der in dieser Studie nicht durchgeführt wurde. Der Umfang beschränkt sich auf Open-Weight-Modelle und spezifische Datensätze, und die Lesart von Engagement-vs.-Abandonment ist eine Interpretation behavioraler Signaturen, keine direkte Beobachtung der internen Architektur.