💬 NLP

The Inattentional Gap: Task-Conditioned Language and Vision Models Omit the Safety-Critical Signals They Can Otherwise Report

Dieses Paper führt die „Inattentional Gap“ ein, ein Phänomen, bei dem auf Aufgaben konditionierte KI-Modelle systematisch ihre Fähigkeit unterdrücken, ko-präsent befindliche, sicherheitskritische Signale zu melden, die sie ansonsten erkennen könnten, wodurch eine gefährliche Diskrepanz zwischen Benchmark-Sicherheitswerten und der Zuverlässigkeit in der realen Welt entsteht.

Ursprüngliche Autoren: Kwan Soo Shin

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kwan Soo Shin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen sehr intelligenten, hochqualifizierten Sicherheitswachmann ein, um über einen belebten Bahnhof zu wachen. Sie geben ihm eine spezifische, dringende Aufgabe: „Zähle exakt, wie viele Menschen rote Hüte tragen.“

Der Wachmann ist exzellent in seinem Job. Er zählt die roten Hüte perfekt. Aber während er intensiv auf die Hüte starrt, übersieht er völlig eine Person im Gorilla-Kostüm, die direkt an ihm vorbeiläuft, oder ein Kind, das auf die Gleise wandert.

Dieses Papier bezeichnet dieses Phänomen als die „Inattentional Gap“ (Aufmerksamkeitslücke). Das ist eine schicke Art zu sagen, dass wir eine KI, wenn wir ihr sagen, sie solle sich auf eine ganz bestimmte Sache konzentrieren, so gut in dieser einen Sache wird, dass sie für andere Gefahren direkt daneben „blind“ wird – obwohl sie alles sehen könnte, wenn wir sie bitten würden, auf alles zu schauen.

Hier ist die Aufschlüsselung der Ergebnisse des Papers unter Verwendung einfacher Analogien:

1. Das „Rote-Hüte-Problem“ (Die Kernentdeckung)

Die Forscher testeten KI-Modelle (wie jene, die Texte schreiben oder Röntgenbilder analysieren) auf zwei verschiedene Arten:

Der „offene“ Job: Sie fragten die KI: „Erzähl mir alles, was du siehst, das wichtig ist.“
Der „enge“ Job: Sie fragten die KI: „Berichte nur über die roten Hüte. Ignoriere alles andere.“

Das Ergebnis: Als die KI den „engen“ Job erledigte, hörte sie auf, die gefährlichen Dinge (wie den Gorilla oder das Kind) zu melden, die sie im „offenen“ Job problemlos gemeldet hätte. Es war nicht so, dass die KI sie nicht sehen konnte; es war vielmehr so, dass die Anweisungen ihr sagten, dass sie sich nur um die roten Hüte kümmern sollte. Die KI befolgte die Regeln so gut, dass sie für den Rest der Welt blind wurde.

2. Es betrifft jeden (und jede Größe)

Man könnte denken: „Vielleicht machen das nur die kleineren, weniger intelligenten KIs, aber die superintelligenten sind sicher.“

Das Paper sagt: Nein. Die Forscher testeten kleine Modelle und riesige „Frontier“-Modelle (die klügsten, die verfügbar sind).
Die Analogie: Es spielt keine Rolle, ob Ihr Sicherheitswachmann ein Neuling oder ein Weltklasse-Detektiv ist. Wenn Sie ihnen sagen, sie sollen nur rote Hüte zählen, wird selbst der Weltklasse-Detektiv den Gorilla übersehen. Die Größe der KI löste das Problem nicht.

3. Es liegt nicht nur an „zu viel Arbeit“

Einige Leute dachten, die KI würde Dinge vielleicht übersehen, weil sie zu beschäftigt oder überlastet sei.

Das Paper sagt: Es geht nicht darum, beschäftigt zu sein; es geht um den Umfang der Antwort.
Die Analogie: Stellen Sie sich vor, Sie schreiben einen Bericht. Wenn man Ihnen sagt: „Schreibe eine einzeilige Zusammenfassung über die roten Hüte“, haben Sie keinen Platz, um den Gorilla zu erwähnen. Aber wenn man Ihnen sagt: „Schreibe einen langen Aufsatz über die roten Hüte“, könnten Sie den Gorilla vielleicht versehentlich in einer Fußnote erwähnen. Die „Blindheit“ der KI geschieht, weil die Aufgabe sie dazu zwingt, ihre Antwort in einen winzigen Kasten zu pressen, wodurch die gefährlichen Dinge herausgequetscht werden.

4. Die „Denk“-Falle

Die Forscher testeten einen speziellen Typ von KI, der darauf ausgelegt ist, zu „denken“ und zu „schlussfolgern“, bevor er antwortet, in der Hoffnung, dass dies als Sicherheitsnetz dienen würde.

Das Paper sagt: Selbst diese „denkenden“ Modelle fielen in die Falle.
Die Analogie: Es ist wie ein Sicherheitswachmann, der kurz innehält und denkt: „Ich zähle gerade rote Hüte“, und dann schlussfolgert: „Deshalb sollte ich auf nichts anderes achten.“ Der „Denkprozess“ half ihnen tatsächlich dabei, sich auf das Falsche zu konzentrieren, anstatt den Fehler zu entdecken.

5. Der Unterschied beim „Sicherheitsbericht“

Interessanterweise verhielten sich nicht alle KI-Familien gleich.

Die Erkenntnis: Einige KI-Modelle (speziell von einem bestimmten Unternehmen) schienen über einen eingebauten „Sicherheitsinstinkt“ zu verfügen. Selbst wenn man ihnen sagte, sie sollten alles andere ignorieren, würden sie manchmal sagen: „Ich kann das gefährliche Ding nicht ignorieren, obwohl du es mir gesagt hast.“ Andere Modelle (von einem anderen Unternehmen) befolgten die Anweisung „ignoriere alles andere“ perfekt, selbst wenn dies bedeutete, eine lebensbedrohliche Gefahr zu übersehen.
Das Fazit: Die Sicherheit der KI hängt stark davon ab, welches Unternehmen sie entwickelt hat, und nicht nur davon, wie intelligent sie ist.

Warum das wichtig ist (laut dem Paper)

Das Paper argumentiert, dass wir KI-Sicherheit derzeit testen, indem wir fragen: „Hat die KI den roten Hut gefunden?“ Wenn die Antwort ja lautet, sagen wir, die KI sei sicher.

Aber das Paper warnt, dass dies eine Falle ist. Eine KI kann eine perfekte Punktzahl beim Finden des roten Hutes erreichen, während sie gleichzeitig völlig versagt, den Gorilla oder das Kind zu melden. Dies schafft eine Lücke zwischen dem, was wir testen (den roten Hut) und dem, was uns tatsächlich schützt (nicht die Gefahr zu übersehen).

Kurz gesagt: Das Paper zeigt, dass wenn wir den Fokus einer KI auf eine spezifische Aufgabe verengen, sie einen „blinden Fleck“ für andere Gefahren erzeugt. Die KI ist nicht kaputt; sie folgt lediglich den Befehlen zu wörtlich. Um wirklich sicher zu sein, können wir uns nicht nur darauf verlassen, dass die KI „es schon richten wird“; wir müssen die Art und Weise ändern, wie wir sie testen und einsetzen, damit sie nicht die Dinge übersieht, nach denen wir sie nicht explizit suchen lassen.

Technisches Resümee: Die Inattentional Gap in aufgabenkonditionierter KI

Problemstellung

Aktuelle Sicherheitsbewertungen für KI messen primär die Fähigkeit eines Modells, explizit in einem Benchmark spezifizierte Gefahren ( $D_{specified}$ ) zu erkennen. Reale Unfälle entstehen jedoch häufig durch sicherheitskritische Signale, die nicht spezifiziert wurden ( $D_{unspecified}$ ). Die vorliegende Arbeit postuliert, dass die Konditionierung eines Sprach- oder Vision-Modells auf eine enge Aufgabe eine funktionale Analogie zur menschlichen „Inattentional Blindness“ (Unaufmerksamkeitsblindheit) erzeugt. In diesem Zustand unterdrückt das Modell die Meldung von ko-präsenten, sicherheitskritischen Informationen, die es unter unbeschränkten Bedingungen melden wäre. Dieses Phänomen, bezeichnet als Inattentional Gap, entkoppelt die gemessene Benchmark-Sicherheit von der Sicherheit im realen Einsatz: Ein System kann nahezu perfekte Werte bei spezifizierten Zielvorgaben erzielen, während es gegenüber unspezifizierten Gefahren, die zu Schäden führen, blind bleibt.

Methodik

Die Studie verwendet ein kontrolliertes experimentelles Design über sechs Experimente hinweg in den Modalitäten Text und Vision, den Domänen Radiologie und autonomes Fahren sowie über mehrere Modellfamilien (OpenAI, Anthropic, Google) hinweg.

Zentrales experimentelles Design:
Die zentrale Metrik ist die innerhalb eines Items messbare Berichtsbereitschaft (within-item reportability gap). Für ein gegebenes Modell $m$ und ein Eingabe-Item $i$ vergleicht die Studie:

Offene Bedingung ( $R^{open}_{m,i}$ ): Das Modell wird gebeten, alle klinisch signifikanten Befunde oder Gefahren zu melden.
Aufgabenkonditioniert ( $R^{task}_{m,i}$ ): Das Modell wird auf eine enge Instruktion konditioniert (z. B. „zähle Rippen“, „beurteile nur den Knoten“, „verfolge das vorausfahrende Fahrzeug“).

Die Inattentional Gap ist definiert als $IG_{m,i} = R^{open}_{m,i} - R^{task}_{m,i}$ , berechnet nur für Items, bei denen das Modell das Signal unter der offenen Bedingung erfolgreich gemeldet hat ( $R^{open}_{m,i} = 1$ ). Diese Kontrolle unterscheidet eine aufgabeninduzierte Auslassung von einem bloßen Fähigkeitsdefizit.

Stimuli und Modelle:

Studie 1 (Sprache): 100 prozedural zusammengesetzte Szenarien (64 Radiologie, 36 Fahren), getestet auf vier Modellen (gpt-4o-mini, gpt-4o, claude-haiku-4-5, claude-sonnet-4-6) unter fokussierten, strengen und offenen Instruktionen.
Studie 2 (Vision): 48 Stimuli, die durch das Komponieren nicht-anatomischer Objekte (ein Stern oder eine transparente Scheibe) auf 12 echten Thorax-Röntgenbildern erstellt wurden. Getestet auf denselben vier Modellen unter einer „Zähl“-Aufgabe (geschlossen) vs. offener Beschreibung.
Studie 3 (Output-Umfang): Variierte die Anzahl der Teilfragen (0 bis 3), um zu untersuchen, ob die Unterdrückung durch kognitive Last oder den Output-Umfang getrieben wird.
Cross-Vendor/Flagship-Validierung: Getestet auf Flaggschiff-Modellen (GPT-5, Gemini 2.5 Pro, Claude Opus 4.8), um Skalierung und Familienabhängigkeit zu bewerten.
Dual-Process-Proben: Untersuchte, ob Reasoning zur Inferenzzeit (GPT-5) oder externe „Kritiker“-Modelle die unterdrückte Berichterstattung wiederherstellen können.

Beurteilung (Adjudication):
Die Antworten wurden von zwei unabhängigen Sprachmodell-Richtern (mit hoher Inter-Rater-Übereinstimmung, $\kappa \approx 0,90$ ) bewertet, um zu bestimmen, ob das kritische Signal gemeldet wurde. Verweigerungen und Fehler wurden ausgeschlossen.

Kernergebnisse

1. Universelle Unterdrückung unter engen Aufgaben
Über alle getesteten Modelle und Modalitäten hinweg unterdrückte die Aufgabenkonditionierung die Berichterstattung sicherheitskritischer Signale signifikant.

Strenge Instruktionen: Unter „strengen“ Instruktionen (z. B. „berichte nur X“) war die Unterdrückung vollständig und universell. In radiologischen Textszenarien sank die Melderate unter strengen Instruktionen auf 0,00 im Vergleich zu ~1,00 unter offenen Bedingungen ( $p < 1,1e-19$ ).
Vision-Aufgaben: Im „Invisible Gorilla“-Analogon (Zählen von Rippen, während ein Stern präsent ist) meldeten OpenAI-Modelle (gpt-4o, gpt-4o-mini) das Objekt in 0,00 der Zähl-Aufgaben-Items, während sie es in 0,79–0,96 der offenen Bedingungs-Items meldeten.

2. Unabhängigkeit von der Modellskalierung
Die Lücke verringerte sich nicht mit der Modellgröße. Frontier-Modelle (gpt-4o) unterdrückten Befunde ebenso stark wie kleinere Modelle (gpt-4o-mini). Das Reasoning-Modell GPT-5 zeigte ebenfalls eine vollständige Unterdrückung (Melderate von 0,00) in validen Antworten, was darauf hindeutet, dass Reasoning zur Inferenzzeit allein die Lücke nicht schließt.

3. Abhängigkeit von der Modellfamilie
Die Magnitude der Lücke variierte signifikant nach Modellfamilie statt nur nach Größe.

Anthropic-Modelle: Zeigten eine partielle Unterdrückung unter fokussierten Bedingungen (z. B. meldete Claude Opus 4.8 ko-präsente Befunde in 0,83–0,96 der aufgabenkonditionierten Items) und wiesen eine „robuste Sicherheitsbericht-Disposition“ auf, die selbst unter adversen Unterdrückungsinstruktionen bestehen blieb.
OpenAI-Modelle: Zeigten eine starke Unterdrückung über alle Skalen hinweg, einschließlich GPT-5.

4. Mechanismus: Output-Umfang, nicht Last
Studie 3 zeigte, dass die Unterdrückung durch den Output-Umfang (die Breite des Berichtsrahmens) ausgelöst wird und nicht durch eine monotone Zunahme der Aufgabenlast. Eine einzige enge Frage kollabierte die Melderaten auf nahezu Null. Während das Hinzufügen weiterer Fragen die Ausgabelänge erhöhte, stellte dies die unterdrückten Signale für OpenAI-Modelle nicht linear wieder her, wohingegen Anthropic-Modelle eine partielle Wiederherstellung zeigten, wenn sich der Output-Umfang erweiterte.

5. Dual-Process-Ergebnisse

Interne Aufsicht: Das gesampelte Reasoning-Modell (GPT-5) versagte als Grenzmonitor; es blieb „aufgabengefangen“ (System-1-Stil), ohne die enge Instruktion zu überschreiben.
Externe Aufsicht: Das Routing eines engen Berichts von einem Aufgaben-Modell an ein unabhängiges, offen formuliertes „Kritiker“-Modell stellte das unterdrückte Signal wieder her und steigerte die Berichtsbereitschaft des Pipelines von 0,00 auf 1,00.

Bedeutung und Ansprüche

Das Paper argumentiert, dass die Inattentional Gap ein fundamentales Risiko für den Einsatz von aufgabenorientierter KI darstellt.

Entkopplung der Sicherheit: Die Genauigkeit in Benchmarks bezüglich spezifizierter Ziele garantiert keine Sicherheit hinsichtlich unspezifizierter, ko-präsenter Gefahren. Ein System kann nach Evaluierungsstandards „sicher“ sein, während es gegenüber den Gefahren, die Unfälle verursachen, „blind“ bleibt.
Unterscheidung des Mechanismus: Im Gegensatz zur menschlichen Inattentional Blindness, die oft auf kapazitätsbegrenzten Aufmerksamkeitsengpässen beruht, wird der KI-Mechanismus als Report-Conditioning identifiziert. Das Modell scheitert nicht daran, das Signal zu „sehen“ (wie die Wiederherstellung in der offenen Bedingung zeigt); vielmehr verengt die Aufgabeninstruktion den Berichtsrahmen, was dazu führt, dass das Modell das Signal auslässt, um die Constraints des Prompts zu erfüllen.
Implikationen für den Einsatz: Das Paper kommt zu dem Schluss, dass Sicherheit nicht allein dadurch erreicht werden kann, dass Modelle enge Aufgaben kompetenter ausführen. Stattdessen erfordert Sicherheit ein Evaluierungs- und Einsatzregime, das $D_{unspecified}$ explizit misst und schützt – potenziell durch explizite Dual-Process-Gerüste (z. B. parallele Aufsicht), anstatt sich auf eine intrinsische Modell-Aufsicht zu verlassen, die in den untersuchten Systemen nicht architekturgeneralisiert gefunden wurde.

Die Autoren positionieren diese Arbeit als Schließung einer „leeren Zelle“ in der Literatur, indem sie die Manipulation des Aufmerksamkeitssets mit innerhalb-Item-Berichtskontrollen in Maschinenstudien kombinieren und so über einfache Kapazitäts-Benchmarks hinausgehen, um aufgabeninduzierte Auslassungen zu messen.