Resumen Técnico: OmniSapiens: Un Modelo de Fundación para el Procesamiento del Comportamiento Social mediante la Optimización de Política Relativa Consciente de la Heterogeneidad

1. Planteamiento del Problema

Los sistemas de IA con inteligencia social requieren la capacidad de razonar a través de diversas tareas de comportamiento humano y generalizar a nuevos contextos sociales. Sin embargo, los sistemas de IA existentes están predominantemente especializados en tareas conductuales únicas (por ejemplo, análisis de sentimiento o reconocimiento de emociones), careciendo de modelos unificados que puedan generalizar eficazmente a través de diversos contextos conductuales.

El desafío principal en el desarrollo de modelos de comportamiento social unificados es la heterogeneidad inherente de los datos conductuales. Estos datos abarcan distintos tipos de características (por ejemplo, prosodia acústica, interacción interpersonal, texto, visión) y objetivos de predicción (por ejemplo, clasificación de emociones, inferencia social, detección de estados patológicos). Esta heterogeneidad produce señales de entrenamiento desiguales entre las muestras, lo que conduce a dinámicas de aprendizaje desequilibradas.

Los modelos unificados actuales suelen emplear métodos de Aprendizaje por Refuerzo (RL) como la Optimización de Política Relativa de Grupo (GRPO) para mejorar el razonamiento. Sin embargo, estos métodos agregan actualizaciones de política a través de muestras heterogéneas sin regular explícitamente las disparidades en sus dinámicas de aprendizaje. En consecuencia, la optimización puede verse desproporcionadamente dominada por tareas conductuales específicas o muestras con magnitudes de ventaja sistemáticamente elevadas, lo que obstaculiza el rendimiento multitarea y la generalización entre contextos.

2. Metodología

2.1 Arquitectura del Modelo: OmniSapiens-7B 2.0

Los autores presentan OMNISAPIENS-7B 2.0, un modelo de fundación para el análisis unificado del comportamiento social.

• Backbone: El modelo utiliza Qwen 2.5 Omni-7B como su arquitectura base multimodal, capaz de procesar entradas de texto, visión y audio.
• Configuración de Entrenamiento: Es entrenado en el benchmark Human Behavior Atlas, que cubre más de 100,000 muestras en 10 diversas tareas conductuales: Sentimiento (SEN), Reconocimiento de Emociones (EMO), Razonamiento Social (SOC), Reconocimiento de Intención (INT), Comunicación No Verbal (NVC), Humor (HUM), Sarcasmo (SAR), Ansiedad (ANX), Depresión (DEP) y PTSD (PTSD).
• Objetivo: Se entrena una única política compartida $\pi_\theta$ para maximizar el rendimiento en todas las tareas simultáneamente.

2.2 Algoritmo Central: Optimización de Política Relativa Consciente de la Heterogeneidad (HARPO)

Para abordar el desequilibrio en las señales de aprendizaje, el artículo propone HARPO, un método de RL on-policy sin crítico. HARPO modifica el objetivo estándar de GRPO mediante el reequilibrio dinámico de las señales de aprendizaje a través de muestras y tareas heterogéneas.

Mecanismos Clave de HARPO:

1. Aproximación de la Señal de Contribución:
   Dado que los gradientes de la política se escalan por los valores de ventaja, la magnitud de las ventajas sirve como un proxy de la contribución de una muestra a la actualización de la política. HARPO calcula las señales de contribución en dos niveles:

   • Nivel de Muestra ($p^{(t)}_{(m,q)}$): El promedio del valor absoluto de la ventaja normalizada por grupo para una muestra específica $q$ dentro de la tarea $m$.
   • Nivel de Tarea ($p^{(t)}_m$): El promedio del valor absoluto de la ventaja normalizada por grupo a través de todas las muestras para la tarea $m$.

2. Modulación Centrada Geométricamente:
   Para evitar que una sola tarea o muestra influya desproporcionadamente en la actualización, HARPO escala las ventajas basándose en su desviación de una referencia de media geométrica.

   • Se calcula una referencia de media geométrica ($\bar{p}^{(t)}_{ref,m}$ para muestras, $\bar{p}^{(t)}_{ref,M}$ para tareas).
   • Los factores de modulación ($s^{(t)}_{(m,q)}$ y $s^{(t)}_m$) se derivan como el recíproco de la relación entre la señal de contribución y la media geométrica.
   • Efecto: Las muestras o tareas con señales de contribución por encima de la referencia reciben factores $<1$ (reducción de escala), mientras que aquellas por debajo reciben factores $>1$ (aumento de escala).
   • Estabilidad: Debido a que los factores se construyen a partir de una media geométrica, su media geométrica es exactamente 1. Esto asegura que el aumento de escala multiplicativo sea exactamente compensado por la reducción de escala, evitando cambios no deseados en el tamaño de paso global.

3. Suavizado Inercial:
   Para garantizar la estabilidad y responder a tendencias persistentes en lugar de fluctuaciones estocásticas on-policy, las señales de contribución y los factores de modulación se actualizan utilizando control inercial:

   • Las señales de contribución utilizan una Media Móvil Exponencial (EMA).
   • Los factores de modulación (siendo ratios multiplicativos) se suavizan mediante actualizaciones multiplicativas.

Función Objetivo:
HARPO retiene el objetivo de región de confianza estilo PPO de GRPO, pero sustituye la ventaja normalizada por grupo $\hat{A}$ estándar por la ventaja modulada por HARPO $A^H$:
$$A^H_{(m,q,i)} = s^{(t)}_{(m,q)} \cdot s^{(t)}_m \cdot \hat{A}^{(t)}_{(m,q,i)}$$

2.3 Diseño de Recompensa

El modelo se entrena con una función de recompensa compuesta $r$:
$$r = (1 - w_{fmt}) r_{task} + w_{fmt} r_{fmt} + \lambda_{len} r_{len}$$

• $r_{task}$: Recompensa binaria por coincidencia exacta de etiqueta (clasificación) o similitud de coseno para QA de texto libre.
• $r_{fmt}$: Recompensa binaria por adherirse a la estructura de salida requerida (traza de razonamiento seguida de la predicción).
• $r_{len}$: Penalización por longitud excesiva de la respuesta.

3. Contribuciones Clave

1. OmniSapiens-7B 2.0: El lanzamiento de un modelo de fundación unificado capaz de abordar conjuntamente una amplia gama de tareas de análisis conductual que abarcan dimensiones afectivas, cognitivas, patológicas y sociales.
2. HARPO: La introducción de un nuevo método de RL diseñado específicamente para aprender de datos conductuales heterogéneos mediante el reequilibrio de las señales de aprendizaje sin una red crítica.
3. Interpretabilidad: El modelo produce trazas de razonamiento más interpretables, mejorando la transparencia y la fiabilidad para aplicaciones del mundo real.

4. Resultados Experimentales

4.1 Rendimiento Multitarea

Evaluado en 10 tareas conductuales, OmniSapiens-7B 2.0 logró el mejor y más consistente rendimiento comparado con:

• LLMs de propósito general: (ej., Gemma-4, Qwen-2.5-Omni).
• Modelos Conductuales Especializados: (ej., HumanOmniV2, variantes previas de OmniSapiens).
• Algoritmos de RL: Superó a GRPO, RLOO, RE++, GPG y EMAGRPO.

Métricas Clave:

• Logró el rango de rendimiento promedio de tarea más alto (1.90) entre todos los modelos.
• Mejoró el rendimiento hasta en un +12.02% respecto a los modelos previos de estado del arte.
• Demostró robustez donde otros métodos (como GRPO) mostraron colapso de rendimiento en tareas específicas (ej., detección de sarcasmo).

4.2 Generalización Zero-Shot

El modelo fue evaluado en cinco benchmarks conductuales no vistos durante el entrenamiento (Detección de Autismo, Reconocimiento de Emoción de Voz, Reconocimiento de Depresión en entornos reales, Sentimiento en Redes Sociales, Incongruencia de Sarcasmo) sin ajuste fino.

• OmniSapiens-7B 2.0 superó a todas las líneas base en los cinco benchmarks de control.
• Las ganancias alcanzaron hasta un +9.37% en comparación con modelos previos.
• Esto sugiere que el modelo aprende características conductuales transferibles que generalizan más allá de la distribución de entrenamiento.

4.3 Interpretabilidad de la Traza de Razonamiento

El artículo evalúa la calidad de las trazas de razonamiento utilizando desiderata de XAI:

• Robustez: Logró la mayor consistencia (87.7%) a través de trazas muestreadas independientemente y variaciones de paráfrasis (88.4%).
• Eficiencia: Generó trazas de razonamiento significativamente más concisas (19.86 tokens) en comparación con las líneas base (ej., 57.69 tokens para OmniSapiens-7B RL).
• Evaluación Humana: En comparaciones por pares, OmniSapiens-7B 2.0 fue preferido o empató con las líneas base en el 99.2% de los casos para concisión, el 88.3% para coherencia y el 78.9% para especificidad.

4.4 Estudios de Ablación

• Modulación Estructurada: Eliminar la referencia geométrica (usando un escalado recíproco simple) degradó el rendimiento (Rango Promedio 2.00 vs 1.90), confirmando la necesidad del centrado geométrico para prevenir la distorsión del tamaño de paso global.
• Control Inercial: Eliminar el suavizado inercial degradó significativamente el rendimiento (Rango Promedio 2.70), particularmente para tareas con señales de contribución fluctuantes (ej., Sarcasmo, Sentimiento).
• Modulación a Nivel de Muestra: Eliminar la modulación a nivel de muestra (solo a nivel de tarea) degradó el rendimiento (Rango Promedio 2.60), indicando la necesidad de equilibrar las señales a nivel de la muestra individual para suprimir valores de ventaja extremos.

5. Significado y Reivindicaciones

El artículo afirma que OmniSapiens-7B 2.0 representa un paso significativo hacia el análisis unificado del comportamiento social. Al modelar explícitamente la heterogeneidad de las señales de aprendizaje a través de HARPO, el modelo supera las limitaciones de los enfoques unificados existentes que están limitados por dinámicas de aprendizaje desequilibradas.

Los autores sostienen que su trabajo:

• Desbloquea aplicaciones potenciales en computación afectiva, salud conductual y sistemas de IA socialmente inteligentes, particularmente en entornos donde los datos conductuales son escasos y la interpretabilidad del modelo es crítica.
• Demuestra que proteger las señales más débiles y estructuralmente significativas (vía HARPO) permite a los modelos de fundación codificar estructuras sociales y conductuales latentes de manera más efectiva.
• Provee un marco fiable para aplicaciones conductuales del mundo real al generar trazas de razonamiento que no solo son precisas, sino también robustas, eficientes e interpretables.

El trabajo sugiere que los futuros modelos de fundación de comportamiento social podrían beneficiarse de abordar explícitamente la heterogeneidad de las señales de aprendizaje en lugar de tratar todas las tareas y muestras de manera uniforme.