Resumo Técnico: Auditorias Contrafatuais para Avaliação de Resposta Paralinguística em Modelos de Áudio-Linguagem

1. Declaração do Problema

Modelos de Áudio-Linguagem (ALMs) estão sendo cada vez mais implantados como juízes automáticos para sistemas de fala-para-fala, encarregados de avaliar se a resposta de um assistente é apropriada dado o input de um usuário. Embora a avaliação baseada em texto esteja bem estabelecida, a interação falada depende fortemente de pistas paralinguísticas (tom, altura, ritmo, tempo) que frequentemente disambiguam a intenção do usuário. Um usuário pode dizer as mesmas palavras com frustração, hesitação ou surpresa, exigindo respostas distintas.

O problema central abordado é o gap de avaliação de segunda ordem: antes que um ALM possa ser confiável como um juiz para adequação paralinguística, devemos verificar se o próprio juiz realmente utiliza evidências de áudio em vez de depender de atalhos lexicais, conteúdo de transcrição ou preferências conversacionais genéricas. Os benchmarks atuais frequentemente falham em diagnosticar como um juiz falha, confundindo erros de percepção com erros de raciocínio.

2. Metodologia: Auditorias Contrafatuais e Cascata Diagnóstica

Os autores introduzem uma estrutura de auditorias contrafatuais projetada para isolar o raciocínio paralinguístico. A metodologia mantém o conteúdo lexical (transcrição) constante enquanto varia a realização paralinguística (afeto, prosódia ou mudanças afetivas de tempo).

2.1 Construção de Itens de Auditoria

Cada item de auditoria é uma tupla $E = (C, A_0, A_1, R_0, R_1)$:

• $C$: Uma transcrição compartilhada ou histórico de conversa.
• $A_0, A_1$: Duas realizações de áudio das mesmas palavras com diferentes estados paralinguísticos (ex: bravo vs. triste).
• $R_0, R_1$: Respostas candidatas apropriadas para $A_0$ e $A_1$, respectivamente.

O estudo utiliza duas famílias de tarefas:

1. SINGLE-TURN-EMOTIONS (Emoções de Turno Único): Calibração estática isolando a seleção de resposta paralinguística sem histórico de diálogo ou atribuição causal.
2. POSITIONAL-EMOTION (Emoção Posicional): Tarefas de múltiplos turnos onde a transcrição é fixa, mas o tempo de uma mudança afetiva (ex: quando um usuário fica frustrado) varia. Isso testa o raciocínio temporal-causal, pois a resposta correta depende da identificação do turno específico que desencadeou a mudança emocional.

2.2 A Cascata Diagnóstica

Para ir além da acurácia agregada, os autores decompõem a avaliação em uma cascata diagnóstica de causa raiz (Figura 1), avaliando três estados binários para cada item:

• $P$ (Percepção): O juiz identifica corretamente o estado paralinguístico (ex: "O usuário está bravo")?
• $O$ (Mapeamento de Resposta Oráculo): Se o estado paralinguístico for fornecido explicitamente em texto (removendo o fardo da percepção de áudio), o juiz consegue mapear esse estado para a resposta correta?
• $J$ (Julgamento Nativo): O juiz tem sucesso no cenário de implantação padrão (Pointwise: um contexto de áudio, duas respostas)?

Estes estados formam uma tupla diagnóstica $(P, O, J)$, permitindo que os autores categorizem as falhas em modos distintos (Tabela 1):

• Falha Potemkin ($1, 1, 0$): O juiz percebe a pista e conhece o mapeamento isoladamente, mas falha ao compor essas habilidades no julgamento de áudio nativo.
• Gargalo de Percepção ($0, 1, 0$): O juiz falha em ouvir a pista, mas consegue mapear o estado se lhe for dito.
• Gargalo de Mapeamento de Resposta ($1, 0, 0$): O juiz ouve a pista, mas não consegue mapeá-la para a resposta certa.
• Julgamento Integrado Confiável ($1, 1, 1$): Todos os componentes têm sucesso.

2.3 Protocolos de Avaliação

• Pointwise (Nativo): O juiz recebe um contexto de áudio e duas respostas candidatas. Isso mimetiza o cenário de implantação.
• Pairwise (Recuperabilidade Contrastiva): O juiz recebe ambos os contextos de áudio e ambas as respostas e deve correspondê-los. Isso testa se o modelo possui a habilidade latente de distinguir os contrafatuais quando o contraste é explícito.

3. Resultados Principais

Os autores avaliaram uma gama de ALMs proprietários (Gemini, GPT, Nova) e de código aberto (Qwen, Phi, Voxtral, DeSTA).

3.1 Sucesso Contrastivo vs. Confiabilidade Nativa

Uma descoberta primária é que a recuperabilidade contrastiva frequentemente superestima a confiabilidade do juiz nativo.

• Muitos modelos (particularmente variantes do Gemini) alcançam alta acurácia no cenário Pairwise (ex: Gemini-3-Pro atinge 91,0% em Single-Turn Pairwise com Cues Difíceis).
• No entanto, esses mesmos modelos degradam significativamente no cenário Pointwise (ex: caindo para 65,3% para o mesmo modelo).
• Este "colapso de protocolo" indica que, embora os modelos possam distinguir diferenças quando ambas as opções estão visíveis, eles falham em implantar essa habilidade quando forçados a tomar uma decisão baseada em um único contexto de áudio.

3.2 Modos de Falha Heterogêneos

A acurácia agregada mascara mecanismos de falha distintos:

• Modelos Gemini: Exibem altas taxas de falha "Potemkin". Eles frequentemente passam nos probes de percepção e mapeamento oráculo, mas falham no passo de integração final no julgamento de áudio nativo. Por exemplo, o Gemini-3-Pro tem uma massa Potemkin de 26% em tarefas de turno único.
• Modelos GPT: Mostram menor integração confiável e maiores gargalos de percepção, falhando mais cedo no pipeline antes que a questão de mapeamento se torne relevante.
• Tarefas Posicionais: O desempenho cai em todos os modelos em tarefas temporais de múltiplos turnos. Mesmo os modelos mais fortes lutam com o cenário "Positional Pointwise" (frequentem perto do acaso, ~50%), indicando que a avaliação paralinguística temporal-causal é um desafio significativo.

3.3 Verificações de Validade

Os autores realizaram verificações de robustez para garantir que os resultados não fossem artefatos de fala sintética ou viés do gerador:

• Fala Sintética vs. Real: Substituir áudio sintetizado por fala humana real (de CAVA) resultou em perfis diagnósticos altamente correlacionados ($\rho > 0.9$).
• Viés do Gerador: Substituir o modelo usado para gerar as anotações do conjunto de dados não alterou o ranking dos modelos.
• Equilíbrio de Qualidade: Fatores irrelevantes como qualidade de áudio (DNSMOS) e utilidade lexical foram equilibrados entre as respostas candidatas, descartando variáveis de confusão.

4. Contribuições

1. Auditorias Contrafatuais: Introdução de uma estrutura usando itens de áudio contrafatuais para testar explicitamente se os juízes ALM dependem de evidências paralinguísticas em vez de atalhos lexicais.
2. Procedimento Diagnóstico de Causa Raiz: Uma decomposição novel da falha do juiz nos estados de Percepção ($P$), Mapeamento Oráculo ($O$) e Julgamento Nativo ($J$), identificando gargalos específicos como falhas "Potemkin".
3. Auditoria Empírica de Modelos de Fronteira: Uma avaliação abrangente mostrando que a acurácia agregada é insuficiente para certificar a confiabilidade do juiz de áudio, destacando particularmente a fragilidade do raciocínio temporal-causal em modelos atuais.

5. Significância e Alegações

O artigo argumenta que juízes ALM não devem ser avaliados apenas pela acurácia. A existência de um grande gap entre o desempenho Pairwise (contrastivo) e Pointwise (nativo) sugere que os modelos podem possuir habilidades paralinguísticas latentes que falham em ativar em cenários de implantação padrão.

Os autores concluem que:

• O sucesso contrastivo não implica confiabilidade do juiz nativo. Um modelo que consegue corresponder duas opções quando ambas estão presentes pode ainda falhar ao julgar uma única interação corretamente.
• A acurácia agregada esconde o mecanismo. Dois modelos com pontuações de acurácia semelhantes podem ter modos de falha fundamentalmente diferentes (ex: um falhando na percepção, outro na orquestração).
• Auditorias comportamentais rigorosas são necessárias. Antes de implantar ALMs como juízes para sistemas de fala-para-fala, eles devem passar por estas auditorias diagnósticas para garantir que não são meramente avaliadores "Potemkin" que parecem entender pistas de áudio, mas dependem de heurísticas baseadas em texto.

O trabalho deixa a melhoria do desempenho do juiz (via treinamento ou design de dados) para trabalhos futuros, focando, em vez disso, na identificação rigorosa dos modos de falha.