Context Sensitivity Improves Human-Machine Visual Alignment

1. Planteamiento del Problema

Los modelos modernos de aprendizaje automático representan las entradas (como imágenes) como puntos fijos en un espacio de incrustación (embedding) de alta dimensión. Aunque este enfoque es poderoso para tareas de generalización (como ImageNet), difiere fundamentalmente de la percepción humana.

• La limitación de los modelos actuales: Asumen que el contexto no afecta la codificación de la información, basándose en una idealización platónica de una correspondencia uno a uno entre entidades y representaciones.
• La realidad cognitiva humana: La percepción humana es inherentemente adaptativa y sensible al contexto. Los humanos ajustan dinámicamente sus representaciones de objetos y sus relaciones basándose en el entorno inmediato, objetivos, experiencias recientes y efectos de distractores.
• La brecha: A medida que los modelos de visión por computadora se utilizan como "autoevaluadores" (proxy para datos humanos), la falta de sensibilidad al contexto en sus representaciones limita su capacidad para alinearse con el juicio y comportamiento humanos.

2. Metodología

Los autores proponen un método para calcular la similitud sensible al contexto a partir de incrustaciones de redes neuronales, aplicado a una tarea de "tripleta de la que sobra una" (odd-one-out) donde una imagen de contexto sirve como referencia simultánea.

Arquitectura del Modelo

El modelo toma como entrada una tripleta de imágenes y una imagen de contexto, produciendo una decisión sobre cuál es la imagen "diferente" condicionada al contexto.

1. Extracción de Características: Se utilizan Modelos Fundacionales (FM) preentrenados (ViT, SigLIP, DINOv2) para obtener incrustaciones iniciales. Se utilizan tanto las versiones originales como versiones "alineadas con humanos" (fine-tuned con AligNet).
2. Transformación Insensible al Contexto (CIT): Se aplica una transformación afín seguida de normalización a las incrustaciones de las imágenes de la tripleta para mejorar la alineación inicial con los juicios humanos, independientemente del contexto.
   $$\tilde{x}_i = \frac{Wx_i + b}{\|Wx_i + b\|}$$
3. Similitud Sensible al Contexto (CSS): Para calcular la similitud entre dos imágenes $i$ y $j$ dado un contexto $c$, se define una matriz de similitud dependiente del contexto $A_c$.
   • Una red neuronal mapea la incrustación del contexto $c$ a una matriz de bajo rango $B_c$.
   • La matriz de similitud se construye como $A_c = B_c^\top B_c$.
   • La similitud se calcula como un producto punto proyectado:
     $$s_{i,j|c} = \tilde{x}_i^\top A_c \tilde{x}_j$$
     Esto permite que la similitud entre imágenes cambie dinámicamente según el contexto, reponderando direcciones arbitrarias en el espacio de incrustación.
4. Decisión y Entrenamiento: El modelo selecciona la imagen "diferente" maximizando la probabilidad softmax basada en la similitud del par restante. Se entrena mediante máxima verosimilitud con una función de pérdida que incluye regularización para mantener la estructura representacional preentrenada (evitando el olvido catastrófico).

Datos

El estudio utiliza el dataset ImageNet-HSJ (Roads & Love, 2021), que contiene juicios de similitud humana a gran escala. El dataset original (tarea 8-elige-2) se reestructuró en un formato de tripleta con contexto, donde la imagen de consulta actúa como contexto y las dos imágenes seleccionadas más una no seleccionada forman la tripleta.

3. Contribuciones Clave

1. Modelado Cognitivo en ML: Introducen un mecanismo explícito de modulación sensible al contexto en redes neuronales profundas, inspirado en teorías cognitivas de la similitud (como la de Tversky), permitiendo que las representaciones se reorganicen dinámicamente.
2. Mejora de la Alineación: Demuestran que incorporar contexto mejora significativamente la capacidad de los modelos para predecir juicios humanos en tareas de comparación visual, superando a los modelos estáticos.
3. Análisis de Representaciones: Proporcionan evidencia cualitativa y cuantitativa de cómo el contexto altera el espacio representacional (visualizado mediante RSMs y PCA), mostrando cómo la relevancia de las características cambia según la situación (ej. un "carro de caballos" se agrupa con animales en lugar de vehículos si el contexto es un animal).

4. Resultados Experimentales

Se evaluaron tres modelos fundacionales (DINOv2, SigLIP, ViT) en sus versiones originales y alineadas con humanos.

• Rendimiento Cuantitativo:
  • Los modelos sensibles al contexto lograron mejoras de hasta un 15% en precisión (Odd-One-Out) en comparación con modelos insensibles al contexto.
  • La mejora fue consistente en todos los modelos base y en ambas variantes (originales y alineadas).
  • Ejemplo específico: En DINOv2 original, la precisión subió de 0.536 (FM base) a 0.657 (modelo sensible al contexto), una mejora del 22.4% relativa al FM base.
• Análisis Cualitativo:
  • En un caso de estudio (Figura 1), con un contexto de un ciervo, los humanos y el modelo sensible al contexto identificaron correctamente un "canoa" como la imagen diferente (entre un perro, un caballo-carro y una canoa), reorganizando el espacio para agrupar al caballo-carro con los animales.
  • El modelo insensible al contexto falló, agrupando el caballo-carro con los vehículos y eligiendo al perro como el diferente.
  • Los mapas de similitud (RSM) y los gráficos de PCA mostraron claramente el desplazamiento de las incrustaciones hacia los clusters relevantes según el contexto.

5. Significado e Impacto

• Puente entre IA y Cognición: El trabajo valida que las intervenciones inspiradas en la cognición (como la reponderación de características basada en el contexto) son esenciales para mejorar la alineación entre modelos de IA y la percepción humana.
• Robustez de la Alineación: Sugiere que la alineación con humanos no es solo una propiedad estática de los datos de entrenamiento, sino que requiere mecanismos dinámicos para manejar la ambigüedad y la variabilidad contextual.
• Futuro de los Autoevaluadores: Para que los modelos de IA sean proxies fiables de datos humanos (crucial en RLHF y evaluación de modelos), deben incorporar la sensibilidad al contexto, ya que los juicios humanos son inherentemente dependientes del entorno.
• Limitaciones y Futuro: Los autores reconocen que el dataset actual tiene limitaciones (una sola respuesta por ensayo) y sugieren futuras investigaciones que incluyan dependencias secuenciales, estados motivacionales internos y modelos de visión-idioma para razonamiento multi-imagen.

En resumen, el artículo demuestra que abandonar la representación fija a favor de una representación dinámica y contextual es un paso necesario para que las máquinas entiendan el mundo visual de la misma manera flexible y adaptable que los humanos.