💬 NLP

The Inattentional Gap: Task-Conditioned Language and Vision Models Omit the Safety-Critical Signals They Can Otherwise Report

Dit artikel introduceert de "Inattentional Gap", een fenomeen waarbij taakgeconditioneerde AI-modellen systematisch hun vermogen onderdrukken om co-presente veiligheidskritische signalen te rapporteren die ze anders wel zouden kunnen detecteren, waardoor er een gevaarlijke kloof ontstaat tussen benchmark-veiligheidsscores en betrouwbaarheid in de echte wereld.

Oorspronkelijke auteurs: Kwan Soo Shin

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kwan Soo Shin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, hoogopgeleide beveiligingsbeambte inhuurt om een druk treinstation te bewaken. Je geeft hem een specifieke, urgente opdracht: "Tel precies hoeveel mensen een rode hoed dragen."

De beambte is uitstekend in zijn werk. Hij telt de rode hoeden perfect. Maar terwijl hij intens naar de hoeden staart, mist hij volledig een persoon in een gorilla-pak die vlak langs hem heen loopt, of een kind dat het spoor op loopt.

Dit papier noemt dit fenomeen de "Inattentional Gap" (onoplettendheidskloof). Het is een chique manier om te zeggen dat wanneer we een AI vertellen om zich op één specifiek ding te concentreren, deze zo goed wordt in dat ene ding dat hij "blind" wordt voor andere gevaren die er direct naast gebeuren — ook al zou hij ze kunnen zien als we hem zouden vragen om naar alles te kijken.

Hier is de uitsplitsing van de bevindingen van het paper met behulp van eenvoudige analogieën:

1. Het "Rode Hoed"-probleem (De kernontdekking)

De onderzoekers testten AI-modellen (zoals de modellen die tekst schrijven of röntgenfoto's bekijken) op twee verschillende manieren:

De "Open" taak: Ze vroegen de AI: "Vertel me alles wat je ziet dat belangrijk is."
De "Nauwe" taak: Ze vroegen de AI: "Vertel alleen over de rode hoeden. Negeer de rest."

Het resultaat: Wanneer de AI de "Nauwe" taak uitvoerde, stopte hij met het rapporteren van de gevaarlijke dingen (zoals de gorilla of het kind) die hij in de "Open" taak gemakkelijk had gerapporteerd. Het was niet dat de AI ze niet kon zien; het was dat de instructies hem vertelden om alleen om de rode hoeden te geven. De AI volgde de regels zo goed op dat hij blind werd voor de rest van de wereld.

2. Het gebeurt iedereen (en bij elke grootte)

Je zou kunnen denken: "Misschien doen de kleinere, minder slimme AI's dit wel, maar de superintelligente zijn veilig."

Het paper zegt: Nee. De onderzoekers testten kleine modellen en gigantische, "frontier" modellen (de slimste die er beschikbaar zijn).
De analogie: Het maakt niet uit of je een beginner bent of een wereldkampioen detective; als je hen alleen opdracht geeft om rode hoeden te tellen, zal zelfs de wereldkampioen detective de gorilla missen. De grootte van de AI loste het probleem niet op.

3. Het gaat niet alleen om "te veel werk"

Sommige mensen dachten dat de AI dingen miste omdat hij te druk was of overbelast werd.

Het paper zegt: Het gaat niet om druk zijn; het gaat om de omvang van het antwoord.
De analogie: Stel je voor dat je een verslag schrijft. Als je de opdracht krijgt: "Schrijf een samenvatting van één zin over de rode hoeden," heb je geen ruimte om de gorilla te vermelden. Maar als je de opdracht krijgt: "Schrijf een lang essay over de rode hoeden," kun je de gorilla misschien per ongeluk in een voetnoot vermelden. De "blindheid" van de AI gebeurt omdat de taak de AI dwingt het antwoord in een klein doosje te persen, waardoor de gevaarlijke zaken eruit worden geperst.

4. De "Redenerings"-valstrik

De onderzoekers testten een speciaal type AI dat is ontworpen om te "denken" en te "redeneren" voordat het antwoordt, in de hoop dat dit als een vangnet zou dienen.

Het paper zegt: Zelfs deze "denkende" modellen liepen in de val.
De analogie: Het is als een beveiligingsbeambte die even stopt om na te denken: "Ik ben rode hoeden aan het tellen," en vervolgens concludeert: "Daarom moet ik naar niets anders kijken." Het "denkproces" hielp hen juist om gefocust te blijven op het verkeerde, in plaats van de fout te ontdekken.

5. Het verschil in de "Veiligheidsrapportage"

Interessant genoeg gedroegen niet alle AI-families hetzelfde.

De bevinding: Sommige AI-modellen (specifiek van één bedrijf) leken een ingebouwd "veiligheidsinstinct" te hebben. Zelfs wanneer ze de opdracht kregen om de rest te negeren, zouden ze soms zeggen: "Ik kan dit gevaarlijke ding niet negeren, ook al zei u dat ik dat moest." Andere modellen (van een ander bedrijf) volgden de opdracht om "de rest te negeren" perfect op, zelfs als dat betekende dat ze een levensgevaarlijk gevaar misten.
De les: De veiligheid van de AI hangt sterk af van welk bedrijf het heeft gemaakt, niet alleen van hoe slim het is.

Waarom dit ertoe doet (volgens het paper)

Het paper betoogt dat we de veiligheid van AI momenteel testen door te vragen: "Heeft de AI de rode hoed gevonden?" Als het antwoord ja is, zeggen we dat de AI veilig is.

Maar het paper waarschuwt dat dit een valstrik is. Een AI kan een perfecte score halen bij het vinden van de rode hoed, terwijl hij de gorilla of het kind volledig mist. Dit creëert een kloof tussen wat we testen (de rode hoed) en wat ons daadwerkelijk veilig houdt (niet het gevaar missen).

Kortom: Het paper laat zien dat wanneer we de focus van een AI vernauwen tot een specifieke taak, dit een "blind vlek" creëert voor andere gevaren. De AI is niet kapot; hij volgt simpelweg bevelen te letterlijk op. Om echt veilig te zijn, kunnen we niet alleen vertrouwen op het feit dat de AI "het wel beter weet"; we moeten veranderen hoe we ze testen en inzetten, zodat ze niet de dingen missen waar we niet expliciet naar hebben gevraagd om naar te kijken.

Technische Samenvatting: De Inattentional Gap in Taakgeconditioneerde AI

Probleemstelling

Huidige AI-veiligheidsevaluaties meten primair het vermogen van een model om gevaren te detecteren die expliciet in een benchmark zijn gespecificeerd ( $D_{gespecificeerd}$ ). Echter, incidenten in de echte wereld komen vaak voort uit veiligheidskritische signalen die niet waren gespecificeerd ( $D_{ongespecificeerd}$ ). Het artikel stelt dat het conditioneren van een taal- of visiemodel op een nauwe taak een functionele analogie creëert voor menselijke "inattentional blindness" (onoplettendheidsblindheid). In deze staat onderdrukt het model het rapporteren van co-presente, veiligheidskritische informatie die het onder onbeperkte omstandigheden wel degelijk in staat is te rapporteren. Dit fenomeen, de Inattentional Gap genoemd, ontkoppelt de gemeten benchmark-veiligheid van de veiligheid bij inzet in de echte wereld: een systeem kan bijna perfecte scores behalen op gespecificeerde doelwitten, terwijl het blind blijft voor ongespecificeerde gevaren die schade veroorzaken.

Methodologie

De studie maakt gebruik van een gecontroleerd experimenteel ontwerp over zes experimenten met tekst- en visiemodaliteiten, radiologie en autonome rij-domeinen, en meerdere modelfamilies (OpenAI, Anthropic, Google).

Kern van het experimentele ontwerp:
De centrale metriek is de binnen-item rapportagekloof (within-item reportability gap). Voor een gegeven model $m$ en input-item $i$ vergelijkt de studie:

Open Conditie ( $R^{open}_{m,i}$ ): Het model wordt gevraagd alle klinisch significante bevindingen of gevaren te rapporteren.
Taakgeconditioneerd ( $R^{task}_{m,i}$ ): Het model wordt geconditioneerd op een nauwe instructie (bijv. "tel ribben", "beoordeel alleen de nodule", "volg het voertuig voor").

De Inattentional Gap wordt gedefinieerd als $IG_{m,i} = R^{open}_{m,i} - R^{task}_{m,i}$ , berekend voor alleen de items waar het model het signaal in de open conditie succesvol rapporteerde ( $R^{open}_{m,i} = 1$ ). Deze controle onderscheidt taak-geïnduceerde omissie van louter een capaciteitsfalen.

Stimuli en Modellen:

Studie 1 (Taal): 100 procedureel samengestelde scenario's (64 radiologie, 36 rijden) getest op vier modellen (gpt-4o-mini, gpt-4o, claude-haiku-4-5, claude-sonnet-4-6) onder gefocuste, strikte en open instructies.
Studie 2 (Visie): 48 stimuli gecreëerd door niet-anatomische objecten (een ster of een transparante schijf) op 12 echte borstfoto's te componeren. Getest op dezelfde vier modellen onder een "tel"-taak (gesloten) versus een open beschrijving.
Studie 3 (Output Scope): Varieerde het aantal sub-vragen (0 tot 3) om te onderzoeken of onderdrukking wordt gedreven door cognitieve belasting of de omvang van de output (output scope).
Cross-Vendor/Flagship Validatie: Getest op flagship-modellen (GPT-5, Gemini 2.5 Pro, Claude Opus 4.8) om schaal en afhankelijkheid van modelfamilie te beoordelen.
Dual-Process Probes: Onderzocht of redeneren tijdens de inferentie (GPT-5) of externe "critic"-modellen de onderdrukte rapportage konden herstellen.

Adjudicatie:
Respons werd beoordeeld door twee onafhankelijke taalmodel-judges (met een hoge inter-rater overeenstemming, $\kappa \approx 0.90$ ) om te bepalen of het kritieke signaal werd gerapporteerd. Weigeringen en fouten werden uitgesloten.

Belangrijkste Resultaten

1. Universele Onderdrukking onder Nauwe Taken
Over alle geteste modellen en modaliteiten heen, onderdrukte taakconditionering de rapportage van veiligheidskritische signalen aanzienlijk.

Strikte Instructies: Onder "strikte" instructies (bijv. "rapporteer alleen X"), was de onderdrukking volledig en universeel. In radiologie tekstscenario's daalde het rapportagepercentage naar 0.00 onder strikte instructies vergeleken met ~1.00 in open condities ( $p < 1.1e-19$ ).
Visietaken: In de "invisible gorilla" analogie (ribben tellen terwijl een ster aanwezig is), rapporteerden OpenAI-modellen (gpt-4o, gpt-4o-mini) het object in 0.00 van de tel-taak items, terwijl ze het in 0.79–0.96 van de open-conditie items rapporteerden.

2. Onafhankelijkheid van Model Schaal
De kloof nam niet af met de schaal van het model. Frontier-modellen (gpt-4o) onderdrukten bevindingen even sterk als kleinere modellen (gpt-4o-mini). Het redeneermodel GPT-5 vertoonde eveneens volledige onderdrukking (0.00 rapportagepercentage) in geldige responsen, wat aangeeft dat redeneren tijdens de inferentie alleen de kloof niet oplost.

3. Afhankelijkheid van Model Familie
De omvang van de kloof varieerde significant per model familie in plaats van enkel per grootte.

Anthropic Modellen: Toonden partiële onderdrukking in gefocuste condities (bijv. Claude Opus 4.8 rapporteerde co-presente bevindingen in 0.83–0.96 van de taak-geconditioneerde items) en vertoonden een "robuuste veiligheidsrapportage-dispositie" die zelfs onder adversariële onderdrukkingsinstructies standhield.
OpenAI Modellen: Toonden sterke onderdrukking over alle schalen, inclusief GPT-5.

4. Mechanisme: Output Scope, Niet Belasting
Studie 3 onthulde dat onderdrukking wordt getriggerd door de output scope (de breedte van het rapportagekader) in plaats van een monotone toename in taakbelasting. Een enkele nauwe vraag liet de rapportagepercentages instorten naar bijna nul. Hoewel het toevoegen van meer vragen de outputlengte vergrootte, herstelde dit de onderdrukte signalen niet lineair voor OpenAI-modellen, terwijl Anthropic-modellen een gedeeltelijk herstel vertoonden naarmate de output scope breder werd.

5. Dual-Process Bevindingen

Interne Toezicht: Het gesamplede redeneermodel (GPT-5) faalde in het fungeren als grensbewaker; het bleef "taak-gecaptureerd" (System-1 stijl) zonder de nauwe instructie te overrulen.
Extern Toezicht: Het routeren van een nauw rapport van een taakmodel naar een onafhankelijk open-ended "critic"-model herstelde het onderdrukte signaal, waardoor de rapportage-rate van het pipeline steeg van 0.00 naar 1.00.

Betekenis en Claims

Het artikel betoogt dat de Inattentional Gap een fundamenteel risico vormt bij de inzet van taak-gespecificeerde AI.

Ontkoppeling van Veiligheid: Benchmark-accuratesse op gespecificeerde doelwitten garandeert geen veiligheid met betrekking tot ongespecificeerde, co-presente gevaren. Een systeem kan "veilig" zijn volgens evaluatiestandaarden, terwijl het "blind" is voor de gevaren die ongelukken veroorzaken.
Onderscheid in Mechanisme: In tegenstelling tot menselijke inattentional blindness, die vaak wordt toegeschreven aan capaciteitsgelimiteerde aandacht-bottlenecks, wordt het AI-mechanisme geïdentificeerd als report-conditioning (rapportage-conditionering). Het model faalt niet om het signaal te "zien" (zoals blijkt uit herstel in de open conditie); in plaats daarvan vernauwt de taakinstructie het rapportagekader, waardoor het model het signaal weglaat om aan de beperkingen van de prompt te voldoen.
Implicaties voor Inzet: Het artikel concludeert dat veiligheid niet kan worden gewaarborgd door modellen simpelweg competenter te maken in het uitvoeren van nauwe taken. In plaats daarvan vereist veiligheid een evaluatie- en inzetregime dat $D_{ongespecificeerd}$ expliciet meet en beschermt, mogelijk door expliciete dual-process scaffolds (bijv. parallel toezicht) in plaats van te vertrouwen op intrinsiek model-toezicht, wat niet architectuur-generaal bleek te zijn in de gesamplede systemen.

De auteurs positioneren dit werk als het vullen van een "lege cel" in de literatuur door attentional-set manipulatie te combineren met binnen-item rapportagecontroles in machine-studies, waarbij zij verder gaan dan eenvoudige capaciteitsbenchmarks om taak-geïnduceerde omissie te meten.