SocialFusion: Addressing Social Degradation in Pre-trained Vision-Language Models

Resumen Técnico: SocialFusion: Abordando la degradación social en modelos de visión-lenguaje pre-entrenados

Declaración del problema
Aunque los modelos de visión-lenguaje (VLM) pre-entrenados a gran escala demuestran capacidades generales notables, fallan al intentar unificar múltiples tareas de comprensión de interacción social visual simultáneamente. En lugar de aprovechar las sinergias entre tareas, los VLM existentes exhiben una "transferencia negativa", donde el entrenamiento conjunto en diversas tareas sociales degrada el rendimiento en comparación con el entrenamiento de tarea única. Los autores hipotetizan que este fallo se debe a un fenómeno que denominan "degradación social". Postulan que el proceso estándar de pre-entrenamiento visual-lingüístico de los VLM perjudica la capacidad del codificador visual para representar información social matizada, haciendo que las características codificadas sean menos decodificables y menos compatibles para tareas de percepción social.

Metodología
El artículo propone SocialFusion, un marco unificado diseñado para evitar la degradación social mediante el aprendizaje de una conexión mínima entre un codificador visual congelado y un modelo de lenguaje, en lugar de depender de las representaciones degradadas de los VLM estándar.

• Arquitectura:
  • Codificador Visual: SocialFusion utiliza un modelo fundacional pre-entrenado (específicamente CLIP en los experimentos principales) que no ha pasado por el típico flujo de trabajo de pre-entrenamiento de VLM. Los pesos del codificador visual se mantienen congelados para preservar la calidad de las representaciones visuales originales.
  • Conector: Un MLP ligero de tres capas proyecta los mapas de características visuales en el espacio de incrustación (embedding space) del Modelo de Lenguaje Grande (LLM).
  • Modelo de Lenguaje: El LLM (Llama 3.2 1B) está congelado, aplicándose únicamente un adaptador de Adaptación de Bajo Rango (LoRA) a sus capas lineales para permitir el aprendizaje específico de la tarea.
  • Entradas y Salidas: El modelo acepta imágenes y cuadros delimitadores (bounding boxes) opcionales (convertidos a incrustaciones de posición aprendidas). Para tareas de clasificación (gestos, expresiones, relaciones, dirección de la mirada), produce tokens de texto. Para la estimación del objetivo de la mirada, proyecta las características visuales finales en un mapa de calor 2D mediante una proyección lineal y una convolución transpuesta.
• Objetivo de Entrenamiento: El modelo se entrena conjuntamente en cinco tareas sociales distintas utilizando una función de pérdida combinada: pérdida de entropía cruzada para tareas basadas en texto y entropía cruzada binaria por píxel para la predicción del mapa de calor de la mirada.
• Investigación de la Degradación Social: Para validar la hipótesis, los autores realizaron experimentos controlados comparando codificadores visuales antes y después del pre-entrenamiento de VLM. Analizaron dos mecanismos:
  1. Decodificabilidad: Utilizando el sondeo de representación lineal para medir qué tan bien se pueden separar linealmente las características sociales después del pre-entrenamiento.
  2. Compatibilidad: Utilizando el análisis de conflicto de gradientes (Grado de Conflicto de Gradiente) para medir la alineación de los gradientes de las tareas durante el entrenamiento conjunto.

Contribuciones Clave

1. Identificación de la Degradación Social: El artículo identifica y demuestra empíricamente que el pre-entrenamiento de VLM degrada las representaciones de los codificadores visuales específicamente para tareas de interacción social. Los experimentos controlados muestran que los codificadores funcionan peor en tareas sociales después de someterse al pre-entrenamiento visual-lingüístico en comparación con sus contrapartes de pre-entrenamiento.
2. Análisis de Mecanismos: A través del sondeo lineal y el análisis de conflicto de gradientes, los autores revelan que el principal motor de la degradación social es la reducción de la decodificabilidad lineal de las características visuales, siendo el conflicto de gradientes un factor secundario y menos significativo.
3. Marco SocialFusion: La propuesta de una arquitectura de fusión mínima que congela el codificador visual y aprende una conexión ligera hacia un LLM. Este enfoque evita la degradación inherente a los VLM estándar.
4. Transferencia Positiva Unificada: SocialFusion es el primer modelo en lograr una transferencia positiva en las cinco tareas de interacción social visual probadas (Análisis de Gestos, Mirada/Atención, Expresión Facial, Dinámica de Conversación y Análisis de Situación Social) cuando se entrenan conjuntamente.

Resultados

• Comparación con Baselines: Al probarse en VLM de código abierto populares (Qwen2-VL, Sail-VL 1.5 y MolmoE) utilizando el ajuste fino con LoRA, estos modelos exhibieron una marcada transferencia negativa en escenarios de entrenamiento conjunto, rindiendo a menudo peor que el entrenamiento de tarea única.
• Rendimiento de SocialFusion:
  • SocialFusion logró transferencia positiva en las 10 métricas probadas (dos por tarea) en el entrenamiento conjunto.
  • Estableció nuevos resultados de Estado del Arte (SOTA) en el benchmark de reconocimiento de gestos HaGRIDv2 (99.8 mAP) y en el benchmark de análisis de situación social PISC (94.2 mAP para Dominio, 88.5 mAP para Relación).
  • Se mantuvo competitivo en GazeFollow, LAM (Looking at Me) y AffectNet, aunque no superó el SOTA en AffectNet o GazeFollow (donde los enfoques especializados basados en DINOv2 aún mantienen ventaja).
• Análisis de Sinergia: Los experimentos de entrenamiento por pares indicaron que, si bien algunos pares de tareas mostraron sinergia, el efecto de transferencia positiva completa fue más pronunciado al entrenar en todas las tareas diversas simultáneamente, lo que sugiere que el modelo aprende "competencias sociales atómicas" generalizables.

Significancia y Reivindicaciones
El artículo afirma que las estrategias actuales de pre-entrenamiento de VLM, aunque efectivas para la comprensión multimodal general, pueden ser perjudiciales para la adquisición de la competencia social general. Los hallazgos sugieren que las representaciones visuales aprendidas durante el pre-entrenamiento a gran escala no preservan las claves visuales específicas necesarias para la percepción social.

La importancia de SocialFusion radica en demostrar que la transferencia positiva en dominios sociales complejos y multifacéticos es alcanzable no construyendo modelos más grandes o complejos, sino evitando la degradación de la representación causada por los flujos de trabajo de pre-entrenamiento estándar. Los autores argumentan que esto resalta la necesidad crítica de paradigmas de entrenamiento socialmente conscientes en el desarrollo futuro de los VLM, sugiriendo que los dominios especializados como la interacción social pueden requerir estrategias de pre-entrenamiento o de ajuste fino distintas para preservar las claves visuales de grano fino. El trabajo sirve como base para construir sistemas de IA socialmente competentes y unificados, capaces de razonar sobre las interacciones humanas en escenarios del mundo real.