Resumen Técnico: Auditorías Contrafactuales para la Evaluación de la Respuesta Paralingüística en Modelos de Lenguaje de Audio

1. Declaración del Problema

Los Modelos de Lenguaje de Audio (ALM, por sus siglas en inglés) se están desplegando cada vez más como jueces automáticos para sistemas de habla a habla, con la tarea de evaluar si la respuesta de un asistente es apropiada dado el input de un usuario. Mientras que la evaluación basada en texto está bien establecida, la interacción hablada depende fuertemente de claves paralingüísticas (tono, tono de voz, ritmo, temporalidad) que a menudo disambiguan la intención del usuario. Un usuario puede decir las mismas palabras con frustración, duda o sorpresa, lo que requiere respuestas distintas.

El problema central abordado es la brecha de evaluación de segundo orden: antes de que un ALM pueda ser confiable como juez de la apropiación paralingüística, debemos verificar que el juez realmente utilice evidencia de audio en lugar de depender de atajos léxicos, contenido de la transcripción o preferencias conversacionales genéricas. Los benchmarks actuales suelen fallar al diagnosticar cómo falla un juez, confundiendo errores de percepción con errores de razonamiento.

2. Metodología: Auditorías Contrafactuales y Cascada Diagnóstica

Los autores introducen un marco de auditorías contrafactuales diseñado para aislar el razonamiento paralingüístico. La metodología mantiene constante el contenido léxico (transcripción) mientras varía la realización paralingüística (afecto, prosodia o cambios afectivos en la temporalidad).

2.1 Construcción de Ítems de Auditoría

Cada ítem de auditoría es una tupla $E = (C, A_0, A_1, R_0, R_1)$:

• $C$: Una transcripción compartida o historial de conversación.
• $A_0, A_1$: Dos realizaciones de audio de las mismas palabras con diferentes estados paralingüísticos (por ejemplo, enojado vs. triste).
• $R_0, R_1$: Respuestas candidatas apropiadas para $A_0$ y $A_1$ respectivamente.

El estudio utiliza dos familias de tareas:

1. SINGLE-TURN-EMOTIONS (Emociones de un solo turno): Calibración estática que aísla la selección de la respuesta paralingüística sin historial de diálogo ni atribución causal.
2. POSITIONAL-EMOTION (Emoción posicional): Tareas de múltiples turnos donde la transcripción es fija, pero el momento de un cambio afectivo (por ejemplo, cuando un usuario se frustra) varía. Esto pone a prueba el razonamiento temporal-causal, ya que la respuesta correcta depende de identificar el turno específico que desencadenó el cambio emocional.

2.2 La Cascada Diagnóstica

Para ir más allá de la precisión agregada, los autores descomponen la evaluación en una cascada diagnóstica de causa raíz (Figura 1), evaluando tres estados binarios para cada ítem:

• $P$ (Percepción): ¿Identifica el juez correctamente el estado paralingüístico (ej. "El usuario está enojado")?
• $O$ (Mapeo de Respuesta Oráculo): Si el estado paralingüístico se proporciona explícitamente en texto (eliminando la carga de percepción de audio), ¿puede el juez mapear ese estado a la respuesta correcta?
• $J$ (Juicio Nativo): ¿Tiene éxito el juez en el entorno de despliegue estándar (Pointwise: un contexto de audio, dos respuestas)?

Estos estados forman una tupla diagnóstica $(P, O, J)$, lo que permite a los autores categorizar los fallos en distintos modos (Tabla 1):

• Fallo Potemkin ($1, 1, 0$): El juez percibe la clave y conoce el mapeo de forma aislada, pero falla al componer estas habilidades en el juicio de audio nativo.
• Cuello de Botella de Percepción ($0, 1, 0$): El juez falla al escuchar la clave, pero puede mapearla si se le indica.
• Cuello de Botella de Mapeo de Respuesta ($1, 0, 0$): El juez escucha la clave, pero no puede mapearla a la respuesta correcta.
• Juicio Integrado Confiable ($1, 1, 1$): Todos los componentes tienen éxito.

2.3 Protocolos de Evaluación

• Pointwise (Nativo): El juez recibe un contexto de audio y dos respuestas candidatas. Esto imita el entorno de despliegue.
• Pairwise (Recuperabilidad Contrastiva): El juez recibe ambos contextos de audio y ambas respuestas, y debe emparejarlos. Esto prueba si el modelo posee la capacidad latente de distinguir los contrafactuales cuando el contraste es explícito.

3. Resultados Clave

Los autores evaluaron una gama de ALMs propietarios (Gemini, GPT, Nova) y de código abierto (Qwen, Phi, Voxtral, DeSTA).

3.1 Éxito Contrastivo vs. Fiabilidad Nativa

Un hallazgo principal es que la recuperabilidad contrastiva a menudo sobreestima la fiabilidad del juez nativo.

• Muchos modelos (particularmente las variantes de Gemini) logran una alta precisión en el entorno Pairwise (ej. Gemini-3-Pro alcanza el 91.0% en Single-Turn Pairwise con Claves Difíciles).
• Sin embargo, estos mismos modelos se degradan significativamente en el entorno Pointwise (ej. cayendo al 65.3% para el mismo modelo).
• Este "colapso de protocolo" indica que, aunque los modelos pueden distinguir diferencias cuando ambas opciones son visibles, fallan al desplegar esta capacidad cuando se les obliga a tomar una decisión basada en un único contexto de audio.

3.2 Modos de Fallo Heterogéneos

La precisión agregada enmascara distintos mecanismos de fallo:

• Modelos Gemini: Exhiben altas tasas de fallo "Potemkin". A menudo pasan las pruebas de percepción y de mapeo oráculo, pero fallan en el paso final de integración en el juicio de audio nativo. Por ejemplo, Gemini-3-Pro tiene una masa Potemkin del 26% en tareas de un solo turno.
• Modelos GPT: Muestran una menor integración confiable y mayores cuellos de botella de percepción, fallando más temprano en el proceso antes de que la pregunta de mapeo sea relevante.
• Tareas Posicionales: El rendimiento cae en todos los modelos en las tareas temporales de múltiples turnos. Incluso los modelos más fuertes luchan con el entorno "Positional Pointwise" (a menudo cerca del azar, ~50%), lo que indica que la evaluación paralingüística temporal-causal es un desafío significativo.

3.3 Verificaciones de Validez

Los autores realizaron pruebas de robustez para asegurar que los resultados no fueran artefactos de la voz sintética o del sesgo del generador:

• Voz Sintética vs. Real: Reemplazar el audio sintetizado con voz humana real (de CAVA) produjo perfiles diagnósticos altamente correlacionados ($\rho > 0.9$).
• Sesgo del Generador: Sustituir el modelo utilizado para generar las anotaciones del conjunto de datos no alteró el ranking de los modelos.
• Equilibrio de Calidad: Factores irrelevantes como la calidad del audio (DNSMOS) y la utilidad léxica se equilibraron entre las respuestas candidatas, descartando variables de confusión.

4. Contribuciones

1. Auditorías Contrafactuales: Introducción de un marco que utiliza ítems de audio contrafactuales para probar explícitamente si los jueces ALM dependen de evidencia paralingüística en lugar de atajos léxicos.
2. Procedimiento Diagnóstico de Causa Raíz: Un nuevo desglose del fallo del juez en estados de Percepción ($P$), Mapeo Oráculo ($O$) y Juicio Nativo ($J$), identificando cuellos de botella específicos como los fallos "Potemkin".
3. Auditoría Empírica de Modelos de Frontera: Una evaluación exhaustiva que muestra que la precisión agregada es insuficiente para certificar la fiabilidad de un juez de audio, destacando particularmente la fragilidad del razonamiento temporal-causal en los modelos actuales.

5. Significado y Reivindicaciones

El artículo argumenta que los jueces ALM no deben ser evaluados únicamente por su precisión. La existencia de una gran brecha entre el rendimiento Pairwise (contrastivo) y el Pointwise (nativo) sugiere que los modelos pueden poseer capacidades paralingüísticas latentes que no logran activar en los escenarios de despliegue estándar.

Los autores concluyen que:

• El éxito contrastivo no implica fiabilidad del juez nativo. Un modelo que puede emparejar dos opciones cuando ambas están presentes puede seguir fallando al juzgar una sola interacción correctamente.
• La precisión agregada oculta el mecanismo. Dos modelos con puntuaciones de precisión similares pueden tener fundamentalmente distintos modos de fallo (ej. uno falla en la percepción, otro en la orquestación).
• Se requieren auditorías de comportamiento exhaustivas. Antes de desplegar ALMs como jueces para sistemas de habla a habla, deben someterse a estas auditorías diagnósticas para asegurar que no son meros evaluadores "Potemkin" que parecen entender las claves de audio pero dependen de heurísticas basadas en texto.

El trabajo deja la mejora del rendimiento del juez (mediante entrenamiento o diseño de datos) para trabajos futuros, centrándose en su lugar en la identificación rigurosa de los modos de fallo.