Directional Confusions Reveal Divergent Inductive Biases Through Rate-Distortion Geometry in Human and Machine Vision

Resumen Técnico

1. Planteamiento del Problema

Los sistemas de visión humana y los modelos de visión artificial modernos (ANNs) a menudo alcanzan niveles de precisión de clasificación similares, pero cometen errores sistemáticamente diferentes. La evaluación tradicional se centra en la precisión global (accuracy) y trata las matrices de confusión como estructuras no estructuradas o agregadas, ignorando la direccionalidad de los errores (es decir, quién se confunde con quién y en qué dirección).

El problema central es que la precisión oculta diferencias fundamentales en los sesgos inductivos (priors) de los sistemas. Mientras que la percepción humana muestra asimetrías robustas pero difusas (basadas en la similitud gradual y la jerarquía de prototipos), los modelos de aprendizaje profundo tienden a sufrir colapsos direccionales fuertes y dispersos (donde múltiples subcategorías se funden en un único prototipo dominante). El artículo busca determinar si estas estructuras de confusión direccional revelan información sobre la geometría de generalización que es invisible para la precisión por sí sola.

2. Metodología y Marco Teórico

El estudio emplea un enfoque combinado de psicofísica humana, evaluación de modelos y teoría de la información:

• Datos y Configuración:

  • Se utilizaron respuestas humanas y de modelos (CNNs como GoogLeNet, ResNet-152, VGG-19, y modelos entrenados para robustez) en una tarea de categorización de 16 clases derivada de ImageNet.
  • Se aplicaron 12 tipos de perturbaciones (ruido, cambios de color, filtros, etc.) para crear condiciones fuera de distribución (OOD).
  • Se analizaron aproximadamente 83,000 ensayos humanos y múltiples configuraciones de modelos.

• Matrices de Confusión como Canales:

  • Cada sistema se trata como un canal de comunicación ruidoso. La matriz de confusión $C$ define la distribución condicional $P(y|x)$.
  • Se eliminan las respuestas correctas (diagonal) para centrarse exclusivamente en los errores.

• Marco Tasa-Distorsión (Rate-Distortion - RD):

  • Se utiliza la teoría de la información (Shannon, Sims) para inferir una distorsión latente ($\rho$) que explica los errores observados.
  • Se traza la frontera RD (la relación óptima entre la información mutua preservada y la distorsión permitida) utilizando el algoritmo de Blahut-Arimoto.
  • Se extraen tres firmas geométricas de esta frontera:
    1. Pendiente ($\beta$): El costo marginal de información para reducir el error.
    2. Curvatura ($\kappa$): Qué tan no uniforme es el intercambio entre información y error.
    3. Eficiencia (AUC): El área bajo la curva RD, que resume la eficiencia general del sistema a través de todos los puntos de operación.

• Métricas de Asimetría:

  • Se definen métricas para cuantificar la estructura direccional:
    • Amplitud (Breadth, $f_{pairs}$): Fracción de pares de clases que muestran asimetría.
    • Fuerza (Strength, $\bar{\Delta}$): Magnitud media de la desviación direccional en los pares asimétricos.
    • Asimetría de Frobenius ($A_{off}^F$): Magnitud global de la asimetría fuera de la diagonal.

• Simulaciones Mecanísticas:

  • Se simularon sistemas con dos tipos de estructuras de distorsión antisimétrica:
    1. Amplio-Debilitado (Broad-weak): Sesgos unidireccionales débiles distribuidos en muchos pares.
    2. Tipo Sumidero (Sink-like): Colapso de masa de probabilidad hacia un pequeño conjunto de clases dominantes.

3. Contribuciones Clave

1. Dissociación Estructural: Demostración de que humanos y ANNs difieren fundamentalmente en la organización de sus errores, no solo en su magnitud.
2. Geometría RD como Firma: Establecimiento de un vínculo formal entre la organización de la asimetría (amplitud vs. fuerza) y la geometría de la frontera de generalización (RD).
3. Insignificancia de la Precisión Global: Evidencia de que dos sistemas pueden tener la misma precisión y misma magnitud global de asimetría, pero operar en regiones cualitativamente diferentes de la geometría RD debido a sus sesgos inductivos subyacentes.
4. Limitaciones del Entrenamiento de Robustez: Demostración de que el entrenamiento para robustez reduce la asimetría global hacia el rango humano, pero no recupera el perfil humano de "amplitud amplia y fuerza débil".

4. Resultados Principales

• Diferencias en la Organización de la Asimetría:

  • Humanos: Exhiben una estructura amplia pero débil. Tienen un alto porcentaje de pares de clases asimétricos (amplitud alta), pero la magnitud de cada error direccional es pequeña. Esto refleja una sensibilidad a gradientes de similitud graduales.
  • ANNs: Exhiben una estructura dispersa pero fuerte. Tienen menos pares asimétricos (amplitud baja), pero cuando ocurren, las desviaciones direccionales son muy grandes (colapsos tipo "sumidero"). Esto refleja un aprendizaje de fronteras de decisión rígidas y dependientes de características simples.
  • Doble Dissociación: Los modelos con mayor asimetría global que los humanos no difieren significativamente en precisión, y los modelos que coinciden con los humanos en asimetría son significativamente más precisos. Esto confirma que la estructura direccional es independiente de la precisión.

• Relación con la Geometría RD:

  • La organización amplia-débil (humana) se asocia con una mayor eficiencia (AUC) en la frontera RD, incluso controlando por precisión.
  • La organización tipo sumidero (ANNs) colapsa la frontera RD, reduciendo la eficiencia.
  • Las correlaciones simples entre asimetría y métricas RD a menudo se explican por la dependencia compartida con la precisión; sin embargo, al controlar la precisión, la estructura residual de la asimetría sigue prediciendo la geometría RD.

• Simulaciones Mecanísticas:

  • Las simulaciones confirmaron que aumentar la fuerza de la asimetría tiene efectos opuestos en la geometría RD dependiendo de su organización:
    • Aumentar la asimetría en un régimen amplio-débil expande la frontera RD (mejora la eficiencia).
    • Aumentar la asimetría en un régimen tipo sumidero colapsa la frontera RD (reduce la eficiencia).
  • Esto valida que la misma magnitud de asimetría puede reflejar estrategias de generalización radicalmente diferentes.

• Entrenamiento de Robustez:

  • Los modelos entrenados con perturbaciones (Distortion-trained) reducen su asimetría global, acercándose a los humanos, pero mantienen un perfil de "fuerza alta" en lugar de adoptar el perfil humano de "amplitud alta". Esto indica que las métricas escalares actuales son insuficientes para evaluar la alineación real con la cognición humana.

5. Significado e Implicaciones

• Más allá de la Precisión: El artículo argumenta que la precisión es una métrica insuficiente para evaluar la robustez y la alineación cognitiva. La estructura de los errores (quién se confunde con quién) contiene información crítica sobre los sesgos inductivos del sistema.
• Geometría de Representación: La diferencia entre humanos y máquinas se interpreta como una diferencia en la geometría del espacio de características: los humanos tienen variedades (manifolds) con gradientes de similitud suaves y anisotrópicos, mientras que los ANNs tienden a colapsar inputs en un pequeño conjunto de estados atractores dominantes.
• Nuevas Direcciones de Investigación:
  • Propone utilizar la descomposición amplitud-fuerza como una señal de entrenamiento. Penalizar los colapsos tipo "sumidero" y fomentar errores distribuidos podría llevar a modelos más robustos y alineados con la visión humana, incluso sin igualar la precisión exacta.
  • Sugiere que la geometría RD y las confusiones direccionales pueden servir como sondas conductuales para inferir la geometría de representaciones internas sin necesidad de acceder a las activaciones neuronales.

En conclusión, el trabajo demuestra que las confusiones direccionales y la geometría tasa-distorsión proporcionan una firma compacta e interpretable de los sesgos inductivos, revelando que humanos y máquinas fallan por razones cualitativamente diferentes, incluso cuando sus tasas de éxito son idénticas.