Do Machines Fail Like Humans? A Human-Centred Out-of-Distribution Spectrum for Mapping Error Alignment

Este artículo propone un marco centrado en el humano que redefine el espectro de datos fuera de distribución (OOD) basándose en la dificultad perceptual humana para evaluar de manera más precisa la alineación entre los errores de los modelos de IA y los humanos, revelando que los modelos de visión-lingüística muestran una mayor consistencia en dicha alineación en comparación con las arquitecturas CNN y ViT bajo diferentes condiciones de dificultad.

Lo esencial

Imagina que quieres saber si un robot piensa como un humano. Hasta ahora, la forma de medirlo era sencilla: le mostrábamos fotos claras y veíamos cuántas veces acertaba. Si el robot acertaba el 90% de las veces y el humano también, decíamos: "¡Genial! Piensan igual".

Pero este artículo nos dice: "¡Espera! Eso no es suficiente."

Es como si dos estudiantes sacaran la misma nota en un examen muy fácil. Eso no significa que hayan estudiado de la misma manera. Quizás uno memorizó las respuestas y el otro entendió la lógica. Si les ponemos un examen trampa o muy difícil, sus métodos de estudio se revelarán.

Aquí te explico las ideas clave de este estudio usando analogías sencillas:

1. El problema: Las "pruebas" actuales son injustas

Los investigadores actuales usan imágenes distorsionadas (borrosas, con ruido, cortadas) para ver cómo fallan los robots. Pero hay un problema: no miden la dificultad de la misma forma para todos.

• La analogía: Imagina que le pides a un humano y a un robot que atraviesen un bosque.
  • Al humano le pones un camino con piedras sueltas (dificultad 1).
  • Al robot le pones un camino con barro (dificultad 1, pero según los parámetros del robot).
  • El problema es que "piedras sueltas" y "barro" no son lo mismo para un humano. Quizás el humano se resbala con el barro, pero el robot no le hace caso. Si comparas sus tiempos sin saber que el terreno era diferente para cada uno, la comparación es injusta.

2. La solución: La "Escala de Dificultad Humana"

Los autores crearon un nuevo sistema. En lugar de medir la dificultad por los parámetros técnicos de la imagen (como "nivel de ruido 5"), la miden por cuánto le cuesta al humano ver la imagen.

• La analogía: Imagina una escalera de dificultad basada en la vista humana.
  • Peldaño 1 (Referencia): La imagen está clara. Todos la ven bien.
  • Peldaño 2 (Cerca de lo desconocido): La imagen está un poco borrosa. A los humanos les cuesta un poco, pero aún la ven.
  • Peldaño 3 (Lejos de lo desconocido): La imagen está muy dañada. A los humanos les cuesta mucho, pero aún pueden adivinar algo.
  • Peldaño 4 (Extremo): La imagen es un borrón total. Nadie puede ver nada.

El estudio dice: "Vamos a comparar al robot y al humano solo cuando están en el mismo peldaño de la escalera". Así, si ambos fallan, sabemos que es porque la imagen era realmente difícil, no porque el robot estaba en un terreno más fácil.

3. Lo que descubrieron: Los robots no fallan igual que nosotros

Al poner a los robots en esta escalera, descubrieron cosas fascinantes sobre sus "personalidades" (sus arquitecturas):

• Los "Cerebros" de Texto y Foto (VLMs): Son como estudiantes que leen mucho y ven muchas fotos. Son los más parecidos a los humanos en todas las situaciones. Incluso cuando la imagen está muy dañada, usan su "sentido común" (lo que saben del texto) para adivinar, igual que haría un humano.
• Los "Ojos" Tradicionales (CNNs): Son como expertos en texturas. Cuando la imagen está un poco dañada (Peldaño 2), se parecen mucho a los humanos. Pero si la imagen se destruye mucho (Peldaño 3), se vuelven locos y fallan estrepitosamente. Parecen depender demasiado de los detalles finos.
• Los "Ojos" Modernos (ViTs): Son como arquitectos que miran la estructura global. En imágenes un poco dañadas, fallan más que los humanos. Pero cuando la imagen está muy dañada, ¡son los mejores! Se adaptan mejor que los tradicionales porque miran el "bosque" en lugar de los "árboles".

4. La lección importante: Fallar igual es mejor que acertar siempre

El estudio concluye que acertar mucho no significa ser inteligente.

• La analogía final: Imagina dos conductores.
  • El Conductor A va rápido en carretera seca, pero si llueve un poco, choca.
  • El Conductor B va un poco más lento, pero si llueve, frena suavemente y sigue conduciendo de forma segura, igual que lo haría un humano.
  • El estudio dice que queremos el Conductor B. Queremos robots que, cuando las cosas se ponen feas, fallen de la misma manera que nosotros (por ejemplo, confundiendo un gato con un perro porque ambos tienen orejas puntiagudas), en lugar de robots que fallan de formas extrañas y misteriosas (como confundir un gato con un camión).

En resumen:
Este paper nos enseña que para crear robots seguros y confiables, no basta con que sean rápidos. Debemos probarlos en situaciones difíciles y asegurarnos de que, cuando se equivocan, lo hagan de una manera que nosotros podamos entender y predecir. Han creado un "mapa de dificultades" basado en la vista humana para hacer esta prueba de forma justa.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Do machines fail like humans? A human-centred out-of-distribution spectrum for mapping error alignment" en español.

1. El Problema

La evaluación de la alineación entre la inteligencia artificial (IA) y la cognición humana ha dependido tradicionalmente de la precisión (accuracy) en tareas estándar. Sin embargo, una precisión similar no garantiza que los modelos y los humanos utilicen estrategias de procesamiento de información o mecanismos de toma de decisiones similares.

Los desafíos principales identificados en la literatura actual para comparar el rendimiento humano y el de los modelos bajo condiciones desafiantes (fuera de la distribución o OOD) son:

• Definición antropocéntrica de OOD: La definición de OOD se basa en la desviación de los datos de entrenamiento del modelo, no en la percepción humana. Los humanos no tienen una "distribución de entrenamiento" controlada, por lo que una muestra OOD para un modelo puede no serlo para un humano.
• Parámetros arbitrarios de degradación: La severidad de las distorsiones (ruido, filtros, etc.) se define mediante parámetros de procesamiento de imágenes (ej. nivel de filtro) que no tienen una correspondencia directa con la dificultad perceptual humana. Un parámetro "5" en un filtro de paso bajo no es comparable a un parámetro "5" en un filtro de paso alto en términos de dificultad humana.
• Falta de línea base: Comparar valores de alineación modelo-humano sin considerar la alineación humana-humana (cuánto coinciden los humanos entre sí) puede llevar a conclusiones engañosas. Si los humanos no coinciden en una tarea, no se puede esperar alta alineación con el modelo.
• Agregación indiscriminada: Estudios previos a menudo agregan resultados a través de todos los niveles de severidad, ignorando que la dificultad perceptual y los patrones de error cambian cualitativamente según el nivel de degradación.

2. Metodología

Los autores proponen un marco centrado en el ser humano para redefinir el espectro OOD basándose en la dificultad perceptual humana en lugar de parámetros técnicos.

• Datos: Se utilizó el conjunto de datos modelvshuman, que contiene el rendimiento de reconocimiento de objetos de 4 participantes humanos en imágenes distorsionadas sistemáticamente (14 tipos de distorsión, múltiples niveles de severidad).
• Construcción del Espectro OOD:
  1. Transformación Logit: Se aplicó una transformación logit a las puntuaciones de precisión humana para normalizar la distribución.
  2. Puntuación OOD (Glass's $\Delta$): Se calculó la desviación del rendimiento humano en condiciones distorsionadas respecto a una referencia de imágenes no distorsionadas utilizando el tamaño del efecto de Glass ($\Delta$). Esto cuantifica cuánto se desvía la percepción humana de la línea base.
  3. Agrupamiento (GMM): Se ajustó un Modelo de Mezcla Gaussiana (GMM) a las puntuaciones OOD para identificar regímenes naturales de dificultad. Esto resultó en cuatro regímenes distintos:
     • Referencia: Variación natural en imágenes no distorsionadas.
     • Near-OOD: Reducción moderada de precisión.
     • Far-OOD: Zona de transición donde el rendimiento decae a diferentes ritmos.
     • Extreme-OOD: Imágenes con información insuficiente (rendimiento al azar).
• Métricas de Alineación:
  • Consistencia de Error (EC): Mide la superposición de muestras mal clasificadas entre pares de sistemas (humanos o modelos).
  • Acuerdo de Mal Clasificación (MA): Mide la frecuencia con la que los sistemas predicen la misma clase incorrecta cuando ambos fallan.
  • Divergencia de Error a Nivel de Clase (CLED): Mide la disimilitud en los patrones de error entre diferentes condiciones (distorsiones) para evaluar si la estructura del error depende más del tipo de distorsión o del nivel de dificultad (OOD).
• Modelos Evaluados: 31 modelos de tres familias arquitectónicas: Redes Neuronales Convolucionales (CNN), Vision Transformers (ViT) y Modelos Visión-Lenguaje (VLM).

3. Contribuciones Clave

1. Espectro OOD Centrado en Humanos: Un marco metodológico que mapea las condiciones de distorsión en una escala común basada en la dificultad perceptual humana, permitiendo comparaciones justas entre diferentes tipos de distorsión.
2. Identificación de Regímenes de Dificultad: La demostración de que la alineación modelo-humano no es monolítica, sino que varía significativamente entre regímenes de dificultad (Near vs. Far OOD).
3. Línea Base Humana-Humana: Establecer que la alineación modelo-humano debe evaluarse en relación con la consistencia humana-humana, revelando que los humanos comparten patrones de error más fuertes entre sí que con cualquier modelo actual.
4. Análisis de Arquitectura: Un mapeo detallado de cómo diferentes arquitecturas (CNN, ViT, VLM) se alinean con la percepción humana bajo diferentes condiciones de degradación, desafiando la noción de que una arquitectura es "superior" en todos los aspectos.

4. Resultados Principales

• Estructura de Error Humano: Se encontró que el nivel OOD (dificultad perceptual) es un factor estructurante mucho más fuerte para los patrones de error humanos que el tipo de distorsión. Los humanos cometen errores más similares entre regímenes de dificultad comparable que entre tipos de distorsión visualmente distintos.
• Comportamiento de las Familias de Modelos:
  • VLMs (Modelos Visión-Lenguaje): Muestran la alineación más consistente con los humanos a través de todo el espectro (Near y Far OOD). Su conocimiento semántico parece proporcionar un andamiaje que mantiene patrones de error humanos incluso bajo degradación severa.
  • CNNs: Se alinean mejor con los humanos en condiciones Near-OOD, pero su rendimiento colapsa en condiciones Far-OOD (la EC y MA caen a cero). Esto sugiere que dependen de características (como textura) que se pierden rápidamente con la degradación.
  • ViTs: Tienen una alineación más pobre que las CNNs en Near-OOD (a pesar de alta precisión), pero superan a las CNNs y se alinean fuertemente con los humanos en condiciones Far-OOD. Su menor dependencia de la textura de alta frecuencia les permite mantener decisiones similares a las humanas cuando los detalles finos se borran.
• Cambio de Ranking: El ranking de los modelos cambia drásticamente según el régimen. Un modelo que es muy humano en Near-OOD puede no serlo en Far-OOD.
• Brecha Humana-Máquina: Ningún modelo alcanza la alineación humana-humana. Los humanos comparten características visuales y estrategias de error entre sí mucho más que con cualquier modelo, indicando que los sistemas de visión artificial actuales aún no replican la robustez y la degradación elegante del sistema visual humano.

5. Significado e Impacto

Este trabajo es fundamental para la ciencia cognitiva y la IA confiable por varias razones:

• Evaluación Rigurosa: Proporciona una metodología para evaluar si los modelos fallan de la misma manera que los humanos, lo cual es un indicador más fuerte de robustez y generalización que la simple precisión.
• Interpretabilidad y Confianza: Los modelos que cometen errores humanos de manera humana son más predecibles e interpretables en entornos de despliegue real. Sus limitaciones son comprensibles porque reflejan las limitaciones de la percepción humana.
• Diseño de Arquitecturas: Sugiere que la arquitectura de los modelos debe diseñarse considerando la degradación en diferentes regímenes. Por ejemplo, las VLMs parecen ofrecer la mejor robustez semántica, mientras que las ViTs muestran ventajas en la preservación de la estructura global bajo degradación severa.
• Nueva Definición de OOD: Cambia el paradigma de definir "fuera de distribución" desde la estadística de los datos de entrenamiento del modelo hacia la dificultad perceptual humana, ofreciendo una métrica universal para comparar sistemas de visión.

En conclusión, el artículo demuestra que la alineación humano-máquina es un fenómeno dependiente del contexto (regímenes de dificultad) y que las arquitecturas actuales tienen sesgos inductivos específicos que solo se revelan cuando se evalúan bajo un espectro de dificultad perceptual estandarizado.