Resumen Técnico: PRISM-AH

Definición del Problema

El artículo aborda el desafío de reconocer la Ambivalencia y la Vacilación (A/H, por sus siglas en inglés) en las intervenciones de cambio de comportamiento de salud basadas en video. La A/H representa un estado afectivo conflictivo entre orientaciones positivas y negativas hacia una acción, lo que a menudo conduce al retraso o al abandono del cambio de comportamiento.

La dificultad central reside en la naturaleza de la evidencia:

• Dispersión y Localización: Las señales discriminativas son dispersas y están localizadas en el tiempo en lugar de estar distribuidas uniformemente a lo largo de un video.
• Desacuerdo entre Canales: La evidencia más fiable suele surgir de los conflictos entre modalidades (por ejemplo, una afirmación verbal acompañada de una mirada esquiva) en lugar de señales fuertes dentro de un solo canal.
• Variabilidad Individual: Los individuos exhiben la vacilación de manera distinta, y el corpus anotado (el benchmark de Ambivalencia/Vacilación Conductual o BAH) es de tamaño modesto.
• Limitaciones de la Fusión Estándar: La aplicación directa de la fusión multimodal estándar a características densas por fotograma produce una baja precisión porque la agrupación de características diluye la localidad temporal y no logra capturar el desacuerdo entre canales.

Metodología: PRISM-AH

El marco propuesto, PRISM-AH (Predictive Reasoning over Interacting Streams for Multimodal Ambivalence / Hesitancy recognition), se aparta de la fusión de características estándar. En su lugar, reformula la tarea como un razonamiento guiado por conocimiento sobre evidencia multimodal estructurada y con marcas de tiempo. La arquitectura consta de dos etapas primarias:

1. Extracción de Evidencia Estructurada (Red Discriminativa)

Una red multimodal ligera procesa ventanas de video (0.5 segundos) para generar un resumen compacto e interpretable en lugar de un único vector agrupado.

• Codificadores: Se utilizan codificadores base congelados para cada modalidad:
  • Visión: Familia de modelos ViT de CLIP para fotogramas faciales.
  • Audio: WavLM para el habla.
  • Texto: MPNet para las transcripciones.
  • Prosodia/Disfluencia: Se computan descriptores explícitos (tono, energía, pausas, muletillas, etc.) por ventana.
• Hub de Interacción: Los canales se proyectan a una dimensión compartida y son modulados por metadatos del participante mediante Modulación Lineal por Características (FiLM). Una pila de bloques de interacción utiliza atención cruzada y atención temporal de autoconsulta para acoplar los canales.
• Generación de Señales: La red emite señales específicas para enriquecer la evidencia:
  • Puntuación de Conflicto: Mide explícitamente el desacuerdo entre canales mediante la disonancia de coseno por pares ($d_{va}, d_{v\tau}, d_{a\tau}$).
  • Sorpresa de Vacilación: Un componente predictivo (inspirado en JEPA) anticipa el siguiente estado del hub; los errores de predicción señalan rupturas en la continuidad conductual.
  • Emparejamiento de Prototipos: Un banco de prototipos aprendibles asigna etiquetas de patrones interpretables a las ventanas.
• Salida: La red produce una probabilidad discriminativa a nivel de video y un resumen de evidencia estructurada que contiene marcas de tiempo, modalidades dominantes, puntuaciones de conflicto y segmentos de transcripción.

2. Razonamiento Guiado por Conocimiento y Fusión Tardía

Un Modelo de Lenguaje de Gran Escala (LLM) actúa como razonador, operando de manera zero-shot sobre la evidencia estructurada.

• Prompting: El LLM recibe el resumen de la evidencia bajo un prompt que codifica explícitamente la taxonomía de claves de expertos del benchmark BAH. Esto proporciona el conocimiento de dominio necesario para interpretar claves sutiles.
• Veredicto: El LLM devuelve un veredicto con una puntuación de confianza y una justificación que cita los momentos decisivos.
• Fusión: La probabilidad de razonamiento ($q$) se combina con la probabilidad discriminativa ($p$) mediante una fusión tardía convexa: $p_{final} = (1 - \omega)p + \omega q$. El peso $\omega$ y el umbral se calibran en la partición de validación para maximizar el F1 macro.

Contribuciones Clave

1. Reformulación de la Tarea: El trabajo cambia de la fusión de características densas al razonamiento sobre evidencia estructurada y con marcas de tiempo, logrando un F1 macro de 0.6324 en la partición de prueba privada (una mejora de 2.24× respecto a la línea base zero-shot de 0.2827).
2. Capa de Razonamiento Guiada por Conocimiento: La introducción de un razonador LLM que interpreta la evidencia bajo una codificación explícita de la taxonomía de claves de expertos. Estudios controlados confirman que la taxonomía codificada es el ingrediente esencial para las ganancias de rendimiento; eliminarla anula la mejora.
3. Análisis Empírico Riguroso: Un estudio controlado sobre tres semillas cuantifica las contribuciones de las modalidades y la robustez. Identifica el lenguaje como el principal motor del rendimiento predictivo y demuestra que la condición de los atributos del participante no se transfiere a particiones con participantes distintos.

Resultados Experimentales

• Rendimiento: En la partición de prueba privada, PRISM-AH alcanza un F1 macro de 0.6324. En la partición de prueba pública, la red discriminativa por sí sola alcanza 0.5790, lo cual mejora a 0.6133 con la adición del razonamiento guiado por conocimiento.
• Necesidad de la Capa de Razonamiento:
  • Capacidad del Modelo: Un modelo de 7 mil millones de parámetros no produjo mejora (peso de fusión = 0), mientras que un modelo de 14 mil millones elevó la puntuación a 0.6070, indicando la necesidad de una capacidad de razonamiento suficiente.
  • Ablación de Prompt: Eliminar la taxonomía de claves de expertos del prompt eliminó la ganancia (regresando a 0.5825), mientras que eliminar la evidencia estructurada mantuvo la ganancia (0.6147). Esto sugiere que el conocimiento de dominio es más crítico que el formato específico de la evidencia para el razonador.
• Análisis de Modalidades:
  • Los modelos de una sola modalidad (Visión, Audio, Texto) se desempeñaron de manera comparable (F1 macro ~0.55–0.56).
  • Dominancia del Lenguaje: Eliminar el canal de lenguaje causó la mayor degradación del rendimiento (0.5735 $\to$ 0.4982), confirmando que el texto es el canal decisivo.
  • Condicionamiento de Participante: Eliminar el condicionamiento por metadatos en realidad mejoró la puntuación de la prueba pública (0.5570 $\to$ 0.6140), lo que indica que los atributos del participante se ajustan a la distribución de entrenamiento pero no generalizan a individuos no vistos.
• Robustez: El sistema mostró brechas de rendimiento estrechas entre los subgrupos de género y edad.

Significado y Reivindicaciones

El artículo sostiene que la fuente principal de mejora en el rendimiento es la capa de razonamiento guiada por conocimiento, específicamente la codificación explícita de la taxonomía de claves de expertos. El estudio sugiere que para tareas donde la evidencia es dispersa, localizada y definida por el conflicto entre modalidades, destilar el video en evidencia estructurada y aplicar un razonamiento basado en el dominio es más efectivo que fusionar características densas.

Los autores concluyen que un núcleo discriminativo compacto es preferible, ya que las señales estructurales auxiliares (puntuaciones de conflicto, señales de sorpresa) contribuyeron marginalmente en el entorno de solo discriminación. La dirección más prometedora para mejoras futuras se identifica como un anclaje lingüístico más fuerte, consistente con el hallazgo de que el lenguaje es el canal decisivo para el reconocimiento de A/H. El enfoque evita la dependencia excesiva del condicionamiento específico del participante, favoreciendo una configuración que generaliza a individuos no vistos.