← Neueste Arbeiten
🤖 AI

Lost in Context: Addressing Context Anxiety in Large Language Models

Dieses Paper identifiziert und untersucht systematisch „Kontext-Angst“ (context anxiety) in großen Sprachmodellen, wobei es aufzeigt, dass Fehlleistungen im logischen Schlussfolgern oft auf verfrühtem Selbstzweifel und ungenauer Token-Schätzung beruhen statt auf einem Mangel an Leistungsfähigkeit, und demonstriert, dass die Performance verbessert werden kann, indem man Modellen beibringt, ihre eigenen Grenzen besser einzuschätzen.

Ursprüngliche Autoren: Ifueko Igbinedion, Jillian Ross, Etienne Ricardez, Sertac Karaman, Eric So

Veröffentlicht 2026-07-27
📖 7 Min. Lesezeit🧠 Tiefgang

Ursprüngliche Autoren: Ifueko Igbinedion, Jillian Ross, Etienne Ricardez, Sertac Karaman, Eric So

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein brillanter Detektiv, der die komplexesten Rätsel der Welt lösen kann. Sie besitzen ein super-mächtiges Notizbuch, das Millionen von Seiten voller Hinweise aufnehmen kann. Aber hier ist der Clou: Manchmal, obwohl das Rätsel lösbar ist und Ihr Notizbuch noch reichlich Platz bietet, hören Sie plötzlich auf zu schreiben. Sie legen Ihren Stift nieder, schütteln den Kopf und sagen: „Das ist zu groß für mein Notizbuch. Ich kann das nicht zu Ende führen.“ Sie haben nicht wirklich keinen Platz mehr; Sie dachten nur, dass Sie keinen hätten. Dies ist ein wenig so, wie es in den fortschrittlichsten Computergehirnen geschieht, die wir heute haben, bekannt als Large Language Models (LLMs). Dies sind KI-Systeme, die mit riesigen Mengen an Text trainiert wurden und in der Lage sind, mathematische Probleme zu durchdenken, Code zu schreiben und komplexe Strategien zu planen. Lange Zeit glaubten Wissenschaftler, dass diese KIs nur dann scheiterten, wenn ein Problem schlichtweg zu schwer für sie zum Verstehen war. Aber eine neue Studie deutet darauf an, dass diese KIs oft nicht deshalb scheitern, weil sie zu dumm sind, sondern weil sie Angst vor ihren eigenen Grenzen haben.

Diese Arbeit mit dem Titel „Lost in Context“ taucht in ein seltsames neues Problem namens „Kontext-Angst“ (Context Anxiety) ein. Es stellt sich heraus, dass diese KI-Modelle oft Panik bekommen, bevor sie überhaupt versuchen, den schwierigsten Teil eines Puzzles zu lösen, weil sie befürchten, dass ihnen der Platz in ihren „Notizbüchern“ (technisch gesehen sind dies Token-Limits) ausgehen könnte. Die Forscher wollten wissen: Geben diese Modelle auf, weil die Aufgabe wirklich unmöglich ist, oder bekommen sie nur eine Panikattacke darüber, wie viel Arbeit sie eigentlich machen müssen? Durch die Untersuchung des Verhaltens dieser Modelle bei langen, schwierigen Aufgaben entdeckte das Team, dass viele von ihnen extrem schlecht darin sind, einzuschätzen, wie viel Aufwand ein Problem tatsächlich erfordert. Sie überschätzen die Arbeit, bekommen Angst und geben vorzeitig auf. Die gute Nachricht? Die Forscher fanden einen Weg, die KI zu „beraten“, indem sie sie lehrten, ihren Fähigkeiten zu vertrauen und aufzuhören zu panikieren, was sie viel besser darin machte, Probleme zu lösen, ohne dass die KI größer oder intelligenter werden musste.

Die Panikattacke in der Maschine

Um zu verstehen, was hier passiert, stellen wir uns die KI als einen Marathonläufer vor. In der Vergangenheit dachten wir, wenn ein Läufer aufhört, dann deshalb, weil die Strecke zu lang oder seine Beine zu müde sind. Aber diese Studie fand heraus, dass ein Läufer manchmal deshalb stoppt, weil er das Ziel sieht und denkt: „Oh nein, das ist 100 Meilen entfernt! Das schaffe ich nie!“, obwohl das Ziel eigentlich nur 5 Meilen entfernt ist. Der Läufer hat die Energie, um zu beenden, aber seine interne Karte ist falsch, also gibt er vorzeitig auf.

Die Forscher testeten diese Idee anhand eines klassischen Rätsels namens Turm von Hanoi. Stellen Sie sich drei Stäbe und einen Stapel Scheiben unterschiedlicher Größe vor. Das Ziel ist es, den gesamten Stapel von einem Stab auf einen anderen zu bewegen, wobei strenge Regeln gelten: Man darf nur eine Scheibe gleichzeitig bewegen, und man darf niemals eine größere Scheibe auf eine kleinere legen. Der knifflige Teil ist, dass mit jeder zusätzlichen Scheibe die Anzahl der benötigten Züge exponentiell ansteigt. Mit nur 12 Scheiben benötigt man bereits über 4.000 Züge. Die Forscher baten mehrere erstklassige KI-Modelle, diese Rätsel zu lösen.

Hier war die schockierende Entdeckung: Viele der klügsten Modelle, wie Claude Sonnet 3.7 und DeepSeek R1, weigerten sich, die schwierigeren Rätsel zu lösen. Doch als die Forscher genau untersuchten, warum sie die Verweigerung aussprachen, stellten sie fest, dass die Modelle nicht sagten: „Ich kenne die Antwort nicht.“ Stattdessen sagten sie Dinge wie: „Das ist zu lang, um es aufzuschreiben,“ oder „Ich werde keinen Platz mehr haben.“ Sie gaben auf, weil sie glaubten, die Lösung sei zu groß für ihr Gedächtnis, obwohl das Rätsel gut innerhalb ihrer tatsächlichen Grenzen lag. Die Forscher nennen dies Kontext-Angst. Es ist eine Form der vorzeitigen Selbstzweifel, bei der die KI glaubt, sie könne den Job nicht erledigen, und deshalb gar nicht erst versucht, es.

Die schlechte Mathematik der KI

Warum bekommt die KI solche Angst? Die Arbeit legt nahe, dass dies daran liegt, dass die Modelle schlecht in Mathe sind – genauer gesagt: schlecht darin, einzuschätzen, wie viel „Platz“ (oder Tokens) eine Lösung beanspruchen wird. Die Forscher baten die Modelle, zu schätzen, wie viele Wörter sie benötigen würden, um ein Problem zu lösen. Die Ergebnisse waren extrem.

Modelle, die Angst zeigten, überschätzten den benötigten Platz um etwa 24 %. Sie dachten, eine 100-Wörter-Antwort würde 124 Wörter Platz beanspruchen. Weil sie dachten, die Aufgabe sei so riesig, bekamen sie Panik und gaben auf. Auf der anderen Seite unterschätzten Modelle, die keine Angst zeigten, den Platz tatsächlich um etwa 19 %. Sie waren optimistischer, dachten: „Hey, das ist einfach!“, und versuchten es tatsächlich.

Diese Fehlkalibrierung erzeugt eine selbsterfüllende Prophezeiung. Wenn die KI glaubt, eine Aufgabe sei unmöglich, weil sie „zu groß“ ist, hört sie auf. Wenn sie glaubt, die Aufgabe sei machbar, macht sie weiter. Die Studie fand heraus, dass diese Angst nicht nur ein kleiner Fehler war; sie hatte reale Konsequenzen. Wenn Modelle ängstlich waren, waren sie bei der Lösung von Problemen um 15 % weniger genau. Noch schlimmer war: Wenn sie es doch schafften, ein Problem korrekt zu lösen, waren ihre Antworten 54 % länger und weniger effizient. Es ist wie ein nervöser Schüler, der, anstatt einen klaren, kurzen Aufsatz zu schreiben, herumschwafelt und Zeit verschwendet, weil er besorgt ist, nicht genug zu leisten.

Die KI lehren, ruhig zu bleiben

Der spannendste Teil der Arbeit ist, dass die Forscher nicht nur ein Problem gefunden haben, sondern auch eine Heilung. Sie fragten: Ist diese Angst ein permanenter Teil des KI-Gehirns, oder können wir sie lehren, weniger nervös zu sein?

Um dies zu testen, verwendeten sie eine Technik namens Supervised Fine-Tuning (SFT). Stellen Sie sich vor, Sie haben einen Schüler, der Angst vor Mathe hat. Anstatt ihm schwierigere Matheaufgaben zu geben, zeigen Sie ihm Beispiele von anderen Schülern, die ähnliche Probleme ruhig und selbstbewusst gelöst haben. Sie sagen ihm: „Schau, du kannst das schaffen, ohne in Panik zu geraten.“

Die Forscher nahmen einen Datensatz korrekter Lösungen zum Turm von Hanoi, filterten jedoch alle heraus, die Anzeichen von Angst zeigten. Dann trainierten sie ein neues KI-Modell nur mit diesen ruhigen, selbstbewussten Beispielen. Sie lehrten das Modell keine neuen Fakten und machten es nicht größer; sie lehrten es lediglich eine neue Art des Denkens.

Das Ergebnis? Das „geheilte“ Modell war erstaunlich. Es hörte auf, vorzeitig aufzugeben. Es lernte, darauf zu vertrauen, dass es den Job erledigen kann.

  • Das neue Modell reduzierte seine Angst um über 50 %.
  • Es wurde viel besser darin, die Rätsel zu lösen, insbesondere die Aufgaben mittlerer Schwierigkeit.
  • Es übertrug dieses neue Selbstvertrauen sogar auf eine völlig andere Art von Rätsel (das Finden des kürzesten Pfades auf einem Gitter), was zeigte, dass es nicht nur Antworten auswendig lernte, sondern eine bessere Strategie erlernte.

Was dies für die Zukunft bedeutet

Diese Arbeit legt nahe, dass wir die Leistung von KI möglicherweise falsch bewerten. Wir denken oft, dass wir eine KI besser machen müssen, indem wir sie größer machen, ihr mehr Daten geben oder sie intelligenter machen. Aber diese Studie deutet darauf an, dass die KI manchmal schon klug genug ist; sie muss nur lernen, mit ihrem eigenen Vertrauen umzugehen.

Die Forscher fanden heraus, dass „Kontext-Angst“ eine Verhaltensgewohnheit ist und kein hartes Limit des Maschinengehirns. Indem wir Modellen helfen, ihre eigenen Fähigkeiten korrekt einzuschätzen und aufzuhören, die Schwierigkeit einer Aufgabe zu überschätzen, können wir sie zuverlässiger und effizienter machen, ohne massiv neue Supercomputer bauen zu müssen. Es ist eine Erinnerung daran, dass selbst für künstliche Intelligenz manchmal nicht das Problem selbst das größte Hindernis ist – sondern die Angst vor dem Problem.

Am Ende zeigt die Arbeit, dass KI-Modelle mit ein wenig „Therapie“ (oder in diesem Fall: sorgfältigem Training mit ruhigen Beispielen) lernen können, mit Panik aufzuhören, ihren Fähigkeiten zu vertrauen und Probleme zu lösen, die sie zuvor zu sehr gefürchtet haben. Es ist ein kleiner, aber kraftvoller Schritt hin zu einer KI, die nicht nur weiß, wie man denkt, sondern auch weiß, wie man weitermacht, wenn es schwierig wird.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →