Sintesi Tecnica: Il Gap di Inattenzione nell'IA Condizionata al Compito

Definizione del Problema

Le attuali valutazioni della sicurezza dell'IA misurano principalmente la capacità di un modello di rilevare pericoli esplicitamente specificati in un benchmark ($D_{specificato}$). Tuttavia, gli incidenti nel mondo reale spesso derivano da segnali critici per la sicurezza che non erano specificati ($D_{non\_specificato}$). Il documento postula che il condizionamento di un modello linguistico o visivo su un compito ristretto crei un analogo funzionale della "cecità da inattenzione" umana. In questo stato, il modello sopprime la segnalazione di informazioni critiche per la sicurezza co-presenti che sarebbe comunque capace di segnalare in condizioni non vincolate. Questo fenomeno, denominato Gap di Inattenzione (Inattentional Gap), scollega la sicurezza misurata nei benchmark dalla sicurezza in fase di distribuzione reale: un sistema può ottenere punteggi quasi perfetti sugli obiettivi specificati pur rimanendo cieco ai pericoli non specificati che causano danni.

Metodologia

Lo studio impiega un disegno sperimentale controllato attraverso sei esperimenti che coinvolgono modalità testuali e visive, domini della radiologia e della guida autonoma, e molteplici famiglie di modelli (OpenAI, Anthropic, Google).

Disegno Sperimentale Centrale:
La metrica centrale è il gap di segnalabilità entro l'elemento (within-item reportability gap). Per un dato elemento $i$ e un modello $m$, lo studio confronta:

1. Condizione Aperta ($R^{aperta}_{m,i}$): Al modello viene chiesto di segnalare tutti i risultati o i pericoli clinicamente significativi.
2. Condizionata al Compito ($R^{compito}_{m,i}$): Il modello è condizionato su un'istruzione ristretta (es. "conta le costole", "valuta solo il nodulo", "traccia il veicolo che precede").

Il Gap di Inattenzione è definito come $IG_{m,i} = R^{aperta}_{m,i} - R^{compito}_{m,i}$, calcolato solo per gli elementi in cui il modello ha segnalato con successo il segnale nella condizione aperta ($R^{aperta}_{m,i} = 1$). Questo controllo distingue l'omissione indotta dal compito dal mero fallimento di capacità.

Stimoli e Modelli:

• Studio 1 (Linguaggio): 100 scenari composti proceduralmente (64 radiologici, 36 di guida) testati su quattro modelli (gpt-4o-mini, gpt-4o, claude-haiku-4-5, claude-sonnet-4-6) sotto istruzioni focalizzate, rigorose e aperte.
• Studio 2 (Visione): 48 stimoli creati componendo oggetti non anatomici (una stella o un disco traslucido) su 12 radiografie del torace reali. Testati sugli stessi quattro modelli sotto un compito di "conteggio" (chiuso) rispetto a una descrizione aperta.
• Studio 3 (Ambito di Output): Ha variato il numero di sotto-domande (da 0 a 3) per indagare se la soppressione sia guidata dal carico cognitivo o dall'ambito di output.
• Validazione Cross-Vendor/Flagship: Testati modelli flagship (GPT-5, Gemini 2.5 Pro, Claude Opus 4.8) per valutare la scala e la dipendenza dalla famiglia di modelli.
• Probi a Doppio Processo: Ha investigato se il ragionamento durante l'inferenza (GPT-5) o modelli "critici" esterni potessero ripristinare la segnalazione soppressa.

Giudizio:
Le risposte sono state valutate da due giudici basati su modelli linguistici (con un alto accordo tra valutatori, $\kappa \approx 0.90$) per determinare se il segnale critico fosse stato segnalato. Rifiuti ed errori sono stati esclusi.

Risultati Chiave

1. Soppressione Universale sotto Compiti Ristretti
In tutti i modelli e le modalità testate, il condizionamento al compito ha soppresso significativamente la segnalazione di segnali critici per la sicurezza.

• Istruzioni Rigorose: Sotto istruzioni "rigorose" (es. "segnala solo X"), la soppressione è stata completa e universale. Negli scenari testuali di radiologia, i tassi di segnalazione sono scesi a 0.00 sotto istruzioni rigorose rispetto a circa 1.00 nelle condizioni aperte ($p < 1.1e-19$).
• Compiti di Visione: Nell'analogo del "gorilla invisibile" (contare le costole mentre è presente una stella), i modelli OpenAI (gpt-4o, gpt-4o-mini) hanno segnalato l'oggetto in 0.00 degli elementi del compito di conteggio, mentre lo hanno segnalato in 0.79–0.96 degli elementi in condizione aperta.

2. Indipendenza dalla Scala del Modello
Il gap non è diminuito con la scala del modello. I modelli frontier (gpt-4o) hanno soppresso i risultati con la stessa forza dei modelli più piccoli (gpt-4o-mini). Anche il modello di ragionamento GPT-5 ha mostrato una soppressione completa (tasso di segnalazione 0.00) nelle risposte valide, indicando che il ragionamento durante l'inferenza da solo non risolve il gap.

3. Dipendenza dalla Famiglia di Modelli
L'entità del gap variava significativamente per famiglia di modelli piuttosto che solo per dimensione.

• Modelli Anthropic: Hanno mostrato una soppressione parziale in condizioni focalizzate (es. Claude Opus 4.8 ha segnalato i risultati co-presenti in 0.83–0.96 degli elementi condizionati al compito) e hanno esibito una "disposizione alla segnalazione di sicurezza robusta" che persisteva anche sotto istruzioni di soppressione avversarie.
• Modelli OpenAI: Hanno mostrato una forte soppressione in tutte le scale, incluso GPT-5.

4. Meccanismo: Ambito di Output, non Carico
Lo Studio 3 ha rivelato che la soppressione è innescata dall'ambito di output (l'ampiezza della cornice di segnalazione) piuttosto che da un aumento monotonico del carico di lavoro. Una singola domanda ristretta ha fatto crollare i tassi di segnalazione vicino allo zero. Sebbene l'aggiunta di più domande aumentasse la lunghezza dell'output, non ha recuperato linearmente i segnali soppressi per i modelli OpenAI, mentre i modelli Anthropic hanno mostrato un parziale recupero man mano che l'ambito di output si ampliava.

5. Risultati del Doppio Processo

• Supervisione Interna: Il modello di ragionamento campionato (GPT-5) non è riuscito ad agire come monitor di confine; è rimasto "catturato dal compito" (stile Sistema-1) senza sovrascrivere l'istruzione ristretta.
• Supervisione Esterna: L'instradamento di un report ristretto da un modello di compito a un modello "critico" indipendente e aperto ha recuperato il segnale soppresso, facendo risalire il tasso di segnalazione del pipeline da 0.00 a 1.00.

Significato e Rivendicazioni

Il documento sostiene che il Gap di Inattenzione rappresenti un rischio fondamentale nella distribuzione di IA con ambiti di compito definiti.

• Scollegamento della Sicurezza: La precisione nei benchmark su target specificati non garantisce la sicurezza rispetto a pericoli co-presenti non specificati. Un sistema può essere "sicuro" secondo gli standard di valutazione pur essendo "cieco" ai pericoli che causano incidenti.
• Distinzione del Meccanismo: A differenza della cecità da inattenzione umana, spesso attribuita a colli di bottiglia dell'attenzione limitati dalla capacità, il meccanismo dell'IA è identificato come condizionamento della segnalazione (report-conditioning). Il modello non fallisce nel "vedere" il segnale (come dimostrato dal recupero in condizione aperta); piuttosto, l'istruzione del compito restringe la cornice di segnalazione, causando l'omissione del segnale per soddisfare i vincoli del prompt.
• Implicazioni per la Distribuzione: Il documento conclude che la sicurezza non può essere garantita semplicemente rendendo i modelli più competenti nel seguire compiti ristretti. Invece, la sicurezza richiede un regime di valutazione e distribuzione che misuri e protegga esplicitamente $D_{non\_specificato}$, potenzialmente attraverso scaffold a doppio processo espliciti (es. supervisione parallela) piuttosto che affidarsi alla supervisione intrinseca del modello, che non è stata trovata essere generalizzata all'architettura nei sistemi campionati.

Gli autori posizionano questo lavoro come un riempimento di una "cella vuota" nella letteratura, combinando la manipolazione del set attentivo con controlli di segnalabilità entro l'elemento negli studi sulle macchine, andando oltre i semplici benchmark di capacità per misurare l'omissione indotta dal compito.