Resumen Técnico: La Brecha de Inatención en la IA Condicionada por Tareas

Planteamiento del Problema

Las evaluaciones de seguridad de la IA actuales miden principalmente la capacidad de un modelo para detectar peligros especificados explícitamente en un benchmark ($D_{especificado}$). Sin embargo, los accidentes en el mundo real suelen derivar de señales críticas para la seguridad que no fueron especificadas ($D_{no\_especificado}$). El artículo postula que condicionar un modelo de lenguaje o de visión a una tarea estrecha crea un análogo funcional de la "ceguera por inatención" humana. En este estado, el modelo suprime el reporte de información co-presente y crítica para la seguridad que es capaz de reportar bajo condiciones no restringidas. Este fenómeno, denominado Brecha de Inatención (Inattentional Gap), desacopla la seguridad medida en benchmarks de la seguridad en despliegue real: un sistema puede lograr puntuaciones casi perfectas en objetivos especificados mientras permanece ciego ante peligros no especificados que causan daños.

Metodología

El estudio emplea un diseño experimental controlado a través de seis experimentos que involucran modalidades de texto y visión, dominios de radiología y conducción autónoma, y múltiples familias de modelos (OpenAI, Anthropic, Google).

Diseño Experimental Central:
La métrica central es la brecha de reportabilidad dentro del ítem (within-item reportability gap). Para un modelo $m$ y un ítem de entrada $i$, el estudio compara:

1. Condición Abierta ($R^{open}_{m,i}$): Se le pide al modelo que reporte todos los hallazgos o peligros clínicamente significativos.
2. Condicionada por Tarea ($R^{task}_{m,i}$): El modelo es condicionado a una instrucción estrecha (p. ej., "contar costillas", "evaluar solo el nódulo", "rastrear al vehículo de adelante").

La Brecha de Inatención se define como $IG_{m,i} = R^{open}_{m,i} - R^{task}_{m,i}$, calculada únicamente para los ítems donde el modelo reportó con éxito la señal en la condición abierta ($R^{open}_{m,i} = 1$). Este control distingue la omisión inducida por la tarea de un mero fallo de capacidad.

Estímulos y Modelos:

• Estudio 1 (Lenguaje): 100 escenarios compuestos procedimentalmente (64 de radiología, 36 de conducción) probados en cuatro modelos (gpt-4o-mini, gpt-4o, claude-haiku-4-5, claude-sonnet-4-6) bajo instrucciones enfocadas, estrictas y abiertas.
• Estudio 2 (Visión): 48 estímulos creados mediante la composición de objetos no anatómicos (una estrella o un disco translúcido) sobre 12 radiografías de tórax reales. Probados en los mismos cuatro modelos bajo una tarea de "conteo" (cerrada) frente a una descripción abierta.
• Estudio 3 (Alcance de la Salida): Varió el número de sub-preguntas (de 0 a 3) para investigar si la supresión es impulsada por la carga cognitiva o por el alcance de la salida.
• Validación de Proveedor/Flagship Cruzada: Se probaron modelos insignia (GPT-5, Gemini 2.5 Pro, Claude Opus 4.8) para evaluar la escala y la dependencia de la familia.
• Pruebas de Proceso Dual: Investigó si el razonamiento en tiempo de inferencia (GPT-5) o modelos "críticos" externos podían restaurar el reporte suprimido.

Adjudicación:
Las respuestas fueron calificadas por dos jueces de lenguaje independientes (con alta concordancia inter-evaluador, $\kappa \approx 0.90$) para determinar si la señal crítica fue reportada. Las negativas y los errores fueron excluidos.

Resultados Clave

1. Supresión Universal bajo Tareas Estrechas
En todos los modelos y modalidades probados, el condicionamiento por tarea suprimió significativamente el reporte de señales críticas para la seguridad.

• Instrucciones Estrictas: Bajo instrucciones "estrictas" (p. ej., "reporte solo X"), la supresión fue completa y universal. En escenarios de texto de radiología, las tasas de reporte cayeron a 0.00 bajo instrucciones estrictas en comparación con ~1.00 en condiciones abiertas ($p < 1.1e-19$).
• Tareas de Visión: En el análogo del "gorila invisible" (contar costillas mientras una estrella está presente), los modelos de OpenAI (gpt-4o, gpt-4o-mini) reportaron el objeto en 0.00 de los ítems de la tarea de conteo, mientras que lo reportaron en 0.79–0.96 de los ítems de la condición abierta.

2. Independencia de la Escala del Modelo
La brecha no disminuyó con la escala del modelo. Los modelos de frontera (gpt-4o) suprimieron los hallazgos tan fuertemente como los modelos más pequeños (gpt-4o-mini). El modelo de razonamiento GPT-5 también exhibió una supresión completa (tasa de reporte de 0.00) en respuestas válidas, lo que indica que el razonamiento en tiempo de inferencia por sí solo no resuelve la brecha.

3. Dependencia de la Familia del Modelo
La magnitud de la brecha varió significamente según la familia del modelo, más que por su tamaño.

• Modelos Anthropic: Mostraron una supresión parcial en condiciones enfocadas (p. ej., Claude Opus 4.8 reportó hallazgos co-presentes en 0.83–0.96 de los ítems condicionados por la tarea) y exhibieron una "disposición de reporte de seguridad robusta" que persistió incluso bajo instrucciones de supresión adversarias.
• Modelos OpenAI: Mostraron una fuerte supresión en todas las escalas, incluyendo GPT-5.

4. Mecanismo: Alcance de la Salida, No Carga
El Estudio 3 reveló que la supresión es activada por el alcance de la salida (la amplitud del marco de reporte) y no por un aumento monotónico en la carga de la tarea. Una sola pregunta estrecha colapsó las tasas de reporte a casi cero. Aunque añadir más preguntas aumentó la longitud de la salida, esto no recuperó linealmente las señales suprimidas para los modelos de OpenAI, mientras que los modelos de Anthropic mostraron una recuperación parcial a medida que el alcance de la salida se ampliaba.

5. Hallazgos de Proceso Dual

• Supervisión Interna: El modelo de razonamiento muestreado (GPT-5) falló en actuar como un monitor de límites; permaneció "capturado por la tarea" (estilo Sistema-1) sin invalidar la instrucción estrecha.
• Supervisión Externa: Dirigir un reporte estrecho de un modelo de tarea a un modelo "crítico" independiente de apertura total recuperó la señal suprimida, elevando la tasa de reporte del pipeline de 0.00 a 1.00.

Significado y Reivindicaciones

El artículo argumenta que la Brecha de Inatención representa un riesgo fundamental en el despliegue de IA con alcances de tarea definidos.

• Desacoplamiento de la Seguridad: La precisión en los benchmarks sobre objetivos especificados no garantiza la seguridad respecto a peligros co-presentes no especificados. Un sistema puede ser "seguro" según los estándares de evaluación mientras permanece "ciego" a los peligros que causan accidentes.
• Distinción de Mecanismo: A diferencia de la ceguera por inatención humana, que a menudo se atribuye a cuellos de botella de capacidad atencional limitados, el mecanismo de la IA se identifica como condicionamiento de reporte. El modelo no falla en "ver" la señal (como evidencia la recuperación en la condición abierta); más bien, la instrucción de la tarea estrecha el marco de reporte, causando que el modelo omita la señal para satisfacer las restricciones del prompt.
• Implicaciones de Despliegue: El artículo concluye que la seguridad no puede asegurar mediante el simple hecho de hacer que los modelos sigan tareas estrechas de manera más competente. En su lugar, la seguridad requiere un régimen de evaluación y despliegue que mida y proteja explícitamente $D_{no\_especificado}$, potencialmente a través de andamiajes de proceso dual explícitos (p. ej., supervisión paralela) en lugar de confiar en la supervisión intrínseca del modelo, la cual no se encontró como arquitectura-general en los sistemas muestreados.

Los autores posicionan este trabajo como un llenado de un "celda vacía" en la literatura al combinar la manipulación del conjunto atencional con controles de reportabilidad dentro del ítem en estudios de máquinas, yendo más allá de los simples benchmarks de capacidad para medir la omisión inducida por la tarea.