Resumo Técnico: O Hiato de Inatenção em IA Condicionada a Tarefas

Declaração do Problema

As avaliações de segurança de IA atuais medem primariamente a capacidade de um modelo de detectar perigos explicitamente especificados em um benchmark ($D_{especificado}$). No entanto, acidentes no mundo real frequentemente derivam de sinais críticos de segurança que não foram especificados ($D_{não\_especificado}$). O artigo postula que condicionar um modelo de linguagem ou visão a uma tarefa estreita cria um análogo funcional da "cegueira inatencional" humana. Nesse estado, o modelo suprime o relato de informações críticas de segurança co-presentes que ele é capaz de relatar sob condições não restritas. Este fenômeno, denominado Hiato de Inatenção (Inattentional Gap), desacopla a segurança medida em benchmarks da segurança de implantação no mundo real: um sistema pode alcançar pontuações quase perfeitas em alvos especificados enquanto permanece cego a perigos não especificados que causam danos.

Metodologia

O estudo emprega um design experimental controlado através de seis experimentos envolvendo modalidades de texto e visão, domínios de radiologia e direção autônoma, e múltiplas famílias de modelos (OpenAI, Anthropic, Google).

Design Experimental Central:
A métrica central é o hiato de relatabilidade dentro do item (within-item reportability gap). Para um dado item $i$ e modelo $m$, o estudo compara:

1. Condição Aberta ($R^{open}_{m,i}$): O modelo é solicitado a relatar todos os achados clinicamente significativos ou perigos.
2. Condicionado à Tarefa ($R^{task}_{m,i}$): O modelo é condicionado a uma instrução estreita (ex: "conte as costelas", "avalie apenas o nódulo", "rastreie o veículo à frente").

O Hiato de Inatenção é definido como $IG_{m,i} = R^{open}_{m,i} - R^{task}_{m,i}$, calculado apenas para itens onde o modelo relatou com sucesso o sinal na condição aberta ($R^{open}_{m,i} = 1$). Este controle distingue a omissão induzida pela tarefa de uma mera falha de capacidade.

Estímulos e Modelos:

• Estudo 1 (Linguagem): 100 cenários compostos proceduralmente (64 radiologia, 36 direção) testados em quatro modelos (gpt-4o-mini, gpt-4o, claude-haiku-4-5, claude-sonnet-4-6) sob instruções focadas, estritas e abertas.
• Estudo 2 (Visão): 48 estímulos criados ao compor objetos não anatômicos (uma estrela ou um disco translúcido) sobre 12 radiografias de tórax reais. Testado nos mesmos quatro modelos sob uma tarefa de "contagem" (fechada) versus descrição aberta.
• Estudo 3 (Escopo de Saída): Variou o número de sub-perguntas (0 a 3) para investigar se a supressão é impulsionada pela carga cognitiva ou pelo escopo de saída.
• Validação de Cross-Vendor/Flagship: Testou modelos de elite (GPT-5, Gemini 2.5 Pro, Claude Opus 4.8) para avaliar escala e dependência de família.
• Probes de Processo Duplo: Investigou se o raciocínio em tempo de inferência (GPT-5) ou modelos "críticos" externos poderiam restaurar o relato suprimido.

Adjudicação:
As respostas foram pontuadas por dois juízes de linguagem (com alta concordância inter-avaliador, $\kappa \approx 0.90$) para determinar se o sinal crítico foi relatado. Recusas e erros foram excluídos.

Resultados Principais

1. Supressão Universal sob Tarefas Estreitas
Em todos os modelos e modalidades testados, o condicionamento de tarefa suprimiu significativamente o relato de sinais críticos de segurança.

• Instruções Estritas: Sob instruções "estritas" (ex: "relate apenas X"), a supressão foi completa e universal. Em cenários de texto de radiologia, as taxas de relato caíram para 0.00 sob instruções estritas em comparação com ~1.00 em condições abertas ($p < 1.1e-19$).
• Tarefas de Visão: No análogo do "gorila invisível" (contar costelas enquanto uma estrela está presente), os modelos da OpenAI (gpt-4o, gpt-4o-mini) relataram o objeto em 0.00 dos itens da tarefa de contagem, enquanto o relataram em 0.79–0.96 dos itens da condição aberta.

2. Independência da Escala do Modelo
O hiato não diminuiu com a escala do modelo. Modelos de fronteira (gpt-4o) suprimiram achados tão fortemente quanto modelos menores (gpt-4o-mini). O modelo de raciocínio GPT-5 também exibiu supressão completa (taxa de relato de 0.00) em respostas válidas, indicando que o raciocínio em tempo de inferência sozinho não resolve o hiato.

3. Dependência de Família de Modelos
A magnitude do hiato variou significamente por família de modelo, em vez de apenas tamanho.

• Modelos Anthropic: Mostraram supressão parcial em condições focadas (ex: Claude Opus 4.8 relatou achados co-presentes em 0.83–0.96 dos itens condicionados à tarefa) e exibiram uma "disposição de relato de segurança robusta" que persistiu mesmo sob instruções adversariais de supressão.
• Modelos OpenAI: Mostraram forte supressão em todas as escalas, incluindo o GPT-5.

4. Mecanismo: Escopo de Saída, Não Carga
O Estudo 3 revelou que a supressão é desencadeada pelo escopo de saída (a amplitude do quadro de relato) e não por um aumento monotônico da carga de tarefa. Uma única pergunta estreita colapsou as taxas de relato para quase zero. Embora adicionar mais perguntas tenha aumentado o comprimento da saída, isso não recuperou linearmente os sinais suprimidos para os modelos da OpenAI, enquanto os modelos da Anthropic mostraram recuperação parcial conforme o escopo de saída se alargava.

5. Achados de Processo Duplo

• Supervisão Interna: O modelo de raciocínio amostrado (GPT-5) falhou em atuar como um monitor de fronteira; ele permaneceu "capturado pela tarefa" (estilo Sistema-1) sem sobrepor a instrução estreita.
• Supervisão Externa: Direcionar um relato estreito de um modelo de tarefa para um modelo "crítico" independente e aberto recuperou o sinal suprimido, elevando a taxa de relato do pipeline de 0.00 para 1.00.

Significância e Alegações

O artigo argumenta que o Hiato de Inatenção representa um risco fundamental na implantação de IA com escopo de tarefa.

• Desacoplamento de Segurança: A precisão em benchmarks sobre alvos especificados não garante a segurança em relação a perigos não especificados e co-presentes. Um sistema pode ser "seguro" pelos padrões de avaliação enquanto permanece "cego" aos perigos que causam acidentes.
• Distinção de Mecanismo: Diferente da cegueira inatencional humana, que é frequentemente atribuída a gargalos de atenção limitados pela capacidade, o mecanismo da IA é identificado como condicionamento de relato. O modelo não falha em "ver" o sinal (como evidenciado pela recuperação na condição aberta); em vez disso, a instrução da tarefa estreita o quadro de relato, fazendo com que o modelo omita o sinal para satisfazer as restrições do prompt.
• Implicações de Implantação: O artigo conclui que a segurança não pode ser garantida simplesmente tornando os modelos mais competentes em seguir tarefas estreitas. Em vez disso, a segurança requer um regime de avaliação e implantação que meça e proteja explicitamente o $D_{não\_especificado}$, possivelmente através de scaffolds de processo duplo explícitos (ex: supervisão paralela) em vez de depender de supervisão intrínseca do modelo, que não foi encontrada como arquiteturalmente geral nos sistemas amostrados.

Os autores posicionam este trabalho como o preenchimento de uma "célula vazia" na literatura ao combinar a manipulação de conjuntos atencionais com controles de relatabilidade dentro do item em estudos de máquinas, indo além de simples benchmarks de capacidade para medir a omissão induzida pela tarefa.