Resumen Técnico: CONFER

Planteamiento del Problema

El Reconocimiento de Emociones Multimodal (MER) tradicionalmente depende de puntuaciones de valencia y activación auto-reportadas como supervisión de verdad fundamental (ground-truth). Sin embargo, el artículo argumenta que estas etiquetas son inherentemente observaciones "débiles" e poco fiables debido a los hábitos de calificación individuales, sesgos cognitivos, distorsiones de la memoria y el contexto experimental. Además, los métodos existentes suelen pasar por alto el conflicto cross-modal —desacuerdos entre las predicciones de diferentes modalidades (por ejemplo, facial, auditiva, fisiológica).

Los enfoques actuales suelen abordar la heterogeneidad de las modalidades mediante mecanismos de atención o compuertas (gating), pero unifican forzosamente los conflictos mediante pesos de fusión sin determinar qué modalidad debería influir en otra para una muestra específica. Del mismo modo, los métodos de etiquetas débiles estiman la fiabilidad de la supervisión basándose en estadísticas globales o puntuaciones de confianza, sin aprovechar el acuerdo de pares y el conflicto entre las predicciones específicas de cada modalidad. Esta desconexión impide una orquestación eficiente del paso de información y un aprendizaje robusto a partir de reportes auto-informados ruidosos.

Metodología: Marco de Trabajo CONFER

Los autores proponen CONFER (Conflict-Aware Evidence Negotiation for Regime-Calibrated Weak Supervision), un marco unificado basado en grafos que modela a los expertos de cada modalidad como nodos en un grafo de negociación dinámico. El marco opera en tres etapas principales:

1. Construcción de Expertos de Modalidad

Cada modalidad es tratada como un experto independiente.

• Representación: Los codificadores mapean ventanas temporales a embeddings. Un constructor agrega estos en representaciones a nivel de ensayo mediante el promedio global (global mean pooling), atención dispersa top-$k$ y dispersión temporal.
• Generación de Evidencia: Cada experto produce una creencia predictiva ($\mu$) y una puntuación de incertidumbre basada en límites ($u$), donde la incertidumbre aumenta a medida que la predicción se acerca al límite de decisión.
• Fiabilidad en Tiempo de Ejecución: La fiabilidad ($c$) se estima combinando el rendimiento histórico Out-of-Fold (OOF) con la incertidumbre de la muestra actual. Esto asegura que la fiabilidad sea específica de la muestra y no estática.

2. Negociación de Evidencia Consciente del Conflicto

Los expertos interactúan a través de un grafo dinámico para resolver conflictos de forma iterativa.

• Estado del Nodo: Definido por la creencia predictiva, la incertidumbre y la fiabilidad en tiempo de ejecución.
• Compatibilidad y Pesos de Arista: La compatibilidad de pares ($A_{mn}$) se calcula basándose en el desacuerdo de la predicción normalizado por la incertidumbre. Un alto desacuerdo entre expertos confiables resulta en una baja compatibilidad.
• Paso de Mensajes Asimétrico: La compatibilidad se convierte en pesos de arista direccionales específicos del receptor ($\gamma_{m \leftarrow n}$). Esto permite que los emisores fiables influyan en los receptores menos fiables, mientras que la propia fiabilidad del receptor dicta cuánto cede ante la información entrante.
• Iteración: El proceso se ejecuta durante dos rondas ($\mu^{(0)} \to \mu^{(1)} \to \mu^{(2)}$), actualizando las creencias basándose en la agregación soportada por pares.

3. Supervisión Calibrada por Régimen

El resultado de la negociación caracteriza la muestra en uno de tres regímenes para calibrar la función de pérdida:

• Consenso: Alto acuerdo y bajo conflicto residual.
• Disenso: Desacuerdo persistente después de la negociación.
• Ambigüedad: Alta incertidumbre general.
• Ponderación de Muestras: Las probabilidades del régimen inferido determinan el peso ($\omega_i$) de la contribución de cada muestra a la pérdida de la etiqueta débil. Las muestras en el régimen de "Consenso" reciben el peso completo, mientras que las muestras de "Disenso" y "Ambigüedad" se ponderan a la baja (pero no se descartan) para evitar que el modelo se sobreajuste a una supervisión poco fiable.

El marco se entrena en tres fases: (A) entrenamiento de codificadores para creencias iniciales, (B) calibración OOF para estimar los priors de fiabilidad y los coeficientes de régimen, y (C) optimización conjunta del módulo de negociación y la lectura de la predicción (prediction readout).

Contribuciones Clave

1. Marco Unificado: CONFER integra la estimación de fiabilidad de la modalidad, la negociación cross-modal y la calibración de etiquetas débiles en una única arquitectura basada en grafos.
2. Mecanismo de Negociación Dinámica: Introduce un método para convertir la compatibilidad consciente de la incertidumbre en un paso de mensajes asimétrico dirigido por la fiabilidad, permitiendo que el conflicto cross-modal guíe tanto la coordinación de los expertos como la estimación de la fiabilidad de la supervisión.
3. Calibración Basada en Regímenes: Al definir los regímenes de Consenso, Disenso y Ambigüedad, el método ajusta dinámicamente la contribución de las etiquetas débiles basándose en la resolución de conflictos específica de la muestra, en lugar de tratar todas las etiquetas como igualmente fiables o poco fiables.

Resultados Experimentales

Los autores evaluaron CONFER en tres benchmarks: AMIGOS, MAHNOB-HCI y DEAP, utilizando tanto validación cruzada de 10 pliegues dependiente del sujeto como protocolos estrictos de Leave-One-Subject-Out (LOSO).

• Rendimiento: CONFER logró resultados competitivos, alcanzando notablemente una precisión de 0.873 y un F1 de 0.879 en AMIGOS-V (Valence) y una precisión de 0.854 en MAHNOB-V bajo evaluación estricta de LOSO, superando a las líneas base como Late Fusion, TFN, MISA y varios métodos de Expert Routing (MoE).
• Robustez: El modelo demostró una robustez superior a la corrupción sintética de etiquetas débiles. Bajo una corrupción de etiquetas simétrica del 30%, CONFER mantuvo una precisión de 0.723, superando significativamente a las líneas base.
• Análisis de Conflicto: Los estudios de ablación confirmaron que eliminar la negociación, la fiabilidad del emisor o la concesión del receptor degradaba el rendimiento. El análisis mostró que la negociación genera las mayores ganancias (5.4–8.9 puntos) en muestras de alto conflicto, corrigiendo predicciones erróneas con mucha más frecuencia de lo que interrumpe las correctas.
• Detección de Supervisión: Se demostró que los regímenes de conflicto inferidos (Consenso, Disenso, Ambigüedad) son indicadores efectivos de la inconsistencia de la supervisión, superando la entropía predictiva en la detección de etiquetas poco fiables.

Significado y Reivindicaciones

El artículo afirma que CONFER demuestra que el conflicto cross-modal no es meramente una fuente de error, sino una señal de información útil. Al modelar explícitamente la negociación entre modalidades, el marco puede:

1. Coordinar las Modalidades: Actualizar selectivamente las predicciones de los expertos basándose en la fiabilidad relativa y la compatibilidad, en lugar de forzar una fusión uniforme.
2. Estimar la Fiabilidad de la Supervisión: Utilizar la resolución (o la falta de ella) del conflicto cross-modal para calibrar la confiabilidad de las etiquetas auto-reportadas sobre una base por muestra.

Los autores concluyen que su enfoque proporciona un mecanismo más robusto para aprender de la supervisión débil en entornos multimodales, particularmente cuando se trata de la naturaleza intrínsecamente poco fiable de los estados emocionales auto-reportados y la heterogeneidad de los datos sensoriales.