💻 computer science

IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages

Este artigo apresenta o IndicContextEval, um benchmark multilíngue abrangente que abrange 8 línguas indianas e 23 domínios, projetado para avaliar rigorosamente se os Modelos de Linguagem de Áudio utilizam genuinamente prompts de contexto explícitos ou se dependem do conhecimento de pré-treinamento por meio de uma nova estrutura de prompting de 7 níveis.

Autores originais: Sakshi Joshi, Dhruv Subhash Rathi, Sanskar Singh, Eldho Ittan George, R J Hari, Kaushal Bhogale, Mitesh M. Khapra

Publicado 2026-06-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sakshi Joshi, Dhruv Subhash Rathi, Sanskar Singh, Eldho Ittan George, R J Hari, Kaushal Bhogale, Mitesh M. Khapra

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente multilíngue muito inteligente que pode ouvir as pessoas falando e escrever exatamente o que elas dizem. É isso que os AudioLLMs (Modelos de Linguagem de Áudio Grandes) fazem. Eles são como ferramentas de ditado superpotentes que também podem ouvir uma pequena nota que você lhes dá previamente, como "Esta é uma reunião médica" ou "Aqui está uma lista de nomes para observar".

A grande questão que os autores deste artigo fizeram é: Este assistente realmente lê a sua nota e a utiliza para ajudar, ou ele apenas finge que ouve enquanto confia no que já memorizou durante o seu treinamento?

Para encontrar a resposta, eles construíram um novo campo de testes chamado IndicContextEval. Aqui está uma divisão simples do que eles fizeram e do que descobriram, usando algumas analogias do dia a dia.

1. A Cozinha de Testes: IndicContextEval

Pense neste benchmark como uma cozinha enorme e organizada onde eles prepararam 56 horas de fala natural de 555 pessoas diferentes falando 8 línguas indianas diferentes (como Hindi, Bengali e Tamil).

Os Ingredientes: Eles não gravaram apenas conversas aleatórias. Eles focaram em 23 campos profissionais diferentes, variando de "Robótica e Automação" a "Artes Culinárias" e "Direito". Isso garante que os falantes usem palavras técnicas complicadas que são difíceis de adivinhar apenas pelo som.
O Objetivo: Eles queriam ver se a IA conseguiria transcrever corretamente essas palavras complicadas quando recebesse uma "dica" (contexto) versus quando tivesse que adivinhar por conta própria.

2. Os Sete Níveis de Dicas (A Escada do "Prompt")

Os pesquisadores projetaram uma escada inteligente de 7 níveis para testar a IA. Imagine que você está pedindo a um amigo para escrever uma história sobre um tópico específico. Você dá dicas que ficam cada vez mais específicas:

Nível 0 (A Folha em Branco): "Apenas escreva o que você ouvir." (Sem dicas de forma alguma).
Nível 1 (A Dica de Idioma): "Escreva o que você ouvir em Hindi." (Apenas indica o idioma).
Nível 2 (A Nota Estruturada): "Esta é uma conversa médica em Hindi, proferida por um médico." (Apenas fatos).
Nível 3 (A Nota de História): "Este é um médico explicando uma cirurgia em Hindi." (Uma descrição em frase natural).
Nível 4 (A Lista em Inglês): "Aqui está uma lista de termos médicos em inglês: Coração, Bisturi, Antibiótico." (Mas a IA ainda deve escrever a resposta em Hindi).
Nível 5 (A Lista Nativa): "Aqui está a mesma lista, mas escrita em escrita de Hindi." (A dica combina com o idioma da resposta).
Nível 6 (A Armadilha): "Aqui está uma lista de termos de culinária (como Farinha, Forno, Tempero) para uma conversa médica." (Isto é uma armadilha para ver se a IA segue cegamente a lista mesmo quando ela está errada).

3. Os Resultados: Quem Realmente Ouve?

Eles testaram cinco modelos de IA. Aqui está o que aconteceu, usando a analogia do "Amigo":

O Amigo "Inteligente e Cético" (GPT-4o Transcribe):
Este amigo é bom. Quando você dá a eles a lista correta de palavras (Nível 5), eles fazem um ótimo trabalho. Mas quando você dá a eles a lista errada (Nível 6, a armadilha da culinária), eles ignoram e mantêm o que realmente ouvem. Eles sabem quando usar a dica e quando ignorá-la.
O "Aprendiz Entusiasta" (Gemini 3 Flash):
Este amigo ama as dicas. Quando você dá a eles a lista certa, eles melhoram significativamente a sua escrita. Eles parecem usar genuinamente o contexto para acertar as palavras complicadas.
O "Seguidor Cego" (Gemma-3N):
Este amigo é confiante demais. Quando você dá a eles a lista errada (Nível 6), eles ficam confusos e começam a escrever bobagens baseadas nessa lista errada. Eles dependem demais da nota e esquecem de ouvir a voz real.
O Amigo "Surdo para Notas" (Sarvam Audio):
Este amigo é, na verdade, o melhor em apenas ouvir e escrever as palavras (menor número de erros no geral). No entanto, eles mal mudam seu comportamento, independentemente de você dar uma dica ou não. É como se fossem tão bons em ouvir que não precisam realmente das notas, ou simplesmente as ignoram.
O Amigo "Confuso" (GPT-4o e outros no Nível 0):
Quando nenhum idioma foi especificado (Nível 0), muitos modelos ficaram confusos sobre qual script de idioma usar, cometendo muitos erros. Assim que você disse "Fale Hindi", o desempenho deles saltou imediatamente.

4. Conclusões Principais

O Formato da "Dica" Importa: Dizer à IA "Aqui está uma lista de palavras em Inglês" (Nível 4) não foi tão útil quanto fornecer a lista na escrita do idioma local (Nível - 5). É como tentar ler uma receita escrita em uma língua que você não fala; não ajuda tanto quanto ter a receita na sua própria língua.
Natural vs. Robô: Descrever o áudio em uma frase natural (Nível 3) funcionou melhor do que dar uma lista de fatos secos (Nível 2).
O Teste da Armadilha: O teste da "Armadilha do Nível 6" foi crucial. Ele provou que alguns modelos são inteligentes o suficiente para ignorar dicas ruins, enquanto outros são tão ansiosos para agradar que seguem instruções erradas e cometem erros.

Resumo

O artigo conclui que, embora estes modelos de IA sejam poderosos, eles não usam o contexto da mesma forma. Alguns são inteligentes o suficiente para saber quando usar uma dica e quando ignorá-la. Outros são ou muito cegos para as dicas ou facilmente enganados por elas.

Os autores construíram este teste (IndicContextEval) para ajudar os desenvolvedores a entender estas diferenças, para que possam construir assistentes de voz melhores e mais confiáveis para as línguas indianas no futuro. Eles tornaram todos os seus dados e testes públicos para que outros possam continuar esta pesquisa.

Resumo Técnico: IndicContextEval

Declaração do Problema

Os Modelos de Linguagem de Áudio (AudioLLMs) introduziram a capacidade de realizar o reconhecimento de fala condicionado a prompts textuais de formato livre, como descrições de domínios ou listas de entidades. Embora isso ofereça uma interface flexível para o ASR (Reconhecimento Automático de Fala) contextual, uma incerteza crítica permanece: esses modelos utilizam genuinamente o contexto fornecido para resolver ambiguidades acústicas ou dependem primariamente do conhecimento paramétrico adquirido durante o pré-treinamento?

Benchmarks existentes falham em abordar essa questão. Grandes corpora multilíngues (ex: IndicVoices, CommonVoice) avaliam a transcrição sob condições de prompting fixas, sem variar os inputs contextuais. Por outro lado, benchmarks projetados para ASR contextual (ex: ProfASR, ContextASR) são predominantemente centrados no inglês, frequentemente dependem de fala sintética e tipicamente testam apenas um modo de contexto (ex: listas de entidades nomeadas). Consequentemente, não há um método sistemático para distinguir entre o ancoramento contextual genuíno e a memorização paramétrica, nem para analisar como tipos específicos de contexto influenciam o comportamento da transcrição.

Metodologia: O Benchmark IndicContextEval

Para abordar essas lacunas, os autores introduzem o IndicContextEval, um benchmark multilíngue projetado para a avaliação controlada da utilização de contexto em AudioLLMs.

Construção do Dataset

Escala e Diversidade: O benchmark compreende 55,93 horas de fala natural de 555 falantes em 8 línguas indianas (Hindi, Bengali, Telugu, Marathi, Gujarati, Malayalam, Odia e Urdu) e 23 domínios profissionais (variando de Engenharia de Base e Ciências Médicas a Forense e Artes).
Estilos de Gravação: Os dados incluem tanto fala lida (usando listas de vocabulário de domínio curadas e traduzidas do inglês) quanto fala extemporânea (participantes discutindo conceitos técnicos em um estilo narrativo natural).
Controle de Qualidade: Todas as gravações passaram por verificação em múltiplas etapas por falantes nativos e especialistas de domínio. As transcrições de referência foram produzidas literalmente nos scripts nativos, preservando segmentos de código misto (code-mixed), com entidades em inglês transliteradas e fornecidas entre colchetes.

Taxonomia de Prompt Controlado (L0–L6)

A inovação central é um framework de prompting de sete níveis onde cada nível introduz exatamente um sinal contextual adicional enquanto mantém outros fatores constantes. Este design permite a atribuição de mudanças de desempenho a tipos de contexto específicos:

L0: Sem contexto (instrução de transcrição pura).
L1: Apenas língua (língua alvo especificada).
L2: Língua + Metadados estruturados de domínio (estilo de fala, região, descrição do domínio).
L3: Língua + Descrição de áudio em linguagem natural (tópico e tipo de discussão).
L4: Língua + Lista de entidades em inglês (20–30 entidades de domínio).
L5: Língua + Lista de entidades no script nativo (alinhando o prompt e os scripts de saída).
L6: Prompt adversário (Lista de entidades de um domínio não relacionado no script nativo).

Configuração Experimental

O estudo avaliou cinco modelos:

IndicConformer: Um baseline de ASR independente (avaliado apenas em L1).
GPT-4o Transcribe, Gemini 3 Flash, Sarvam Audio: AudioLLMs comerciais.
Gemma-3N: Um AudioLLM de pesos abertos.

As métricas de avaliação incluíram a Taxa de Erro de Palavra (WER) e a Taxa de Erro de Entidade Nomeada (NEER), com foco específico em como a NEER muda através dos níveis de contexto para medir o viés de entidade.

Resultados Principais

1. Desempenho de Baseline e Identificação de Língua

Em L1 (língua especificada), o Sarvam Audio alcançou o menor WER (16,86%), seguido pelo Gemini 3 Flash (18,90%). O GPT-4o Transcribe e o Gemma-3N exibiram taxas de erro significativamente mais altas. A transição de L0 para L1 revelou um substancial "imposto de identificação de língua", particularmente para o Gemma-3N, que melhorou 12,48 pontos de WER quando a língua foi explicitamente especificada, indicando dificuldade em inferir o script correto apenas pela acústica.

2. Impacto do Tipo de Contexto

Linguagem Natural vs. Metadados: Descrições de áudio em linguagem natural (L3) superaram consistentemente os prompts de metadados estruturados (L2). Por exemplo, o GPT-4o Transcribe melhorou 2,53 pontos de WER em L3 versus apenas 0,24 em L2. O Gemma-3N mostrou extrema sensibilidade ao formato do prompt, com metadados estruturados degradando o desempenho significativamente (+13,47 WER).
Alinhamento de Script: Fornecer listas de entidades no script nativo (L5) rendeu os maiores ganhos em NEER em todos os modelos. A lacuna entre entidades em script inglês (L4) e entidades em script nativo (L5) atingiu até 11 pontos de WER, confirmando um substancial "custo de incompatibilidade de script".
Robustez Adversária (L6):
- GPT-4o Transcribe demonstrou utilização equilibrada: beneficiou-se de entidades corretas (L5), mas permaneceu robusto a entidades incorretas (L6 $\approx$ L1), sugerindo que ele realiza a validação cruzada dos prompts contra a evidência acústica.
- Gemini 3 Flash mostrou sensibilidade moderada a prompts adversários, indicando uso contextual genuíno.
- Gemma-3N foi fortemente degradado por entidades adversárias (+9,22 WER), indicando uma "dependência cega" de prompts de entidades que frequentemente corrompiam a transcrição circundante.
- Sarvam Audio permaneceu amplamente inafetado por prompts adversários, sugerindo que sua transcrição é impulsionada principalmente pelo codificador acústico com influência limitada do contexto textual.

3. Capacidades de Ancoragem Contextual

Os resultados destacam uma heterogeneidade substancial na forma como os modelos utilizam o contexto. Embora o viés de entidade em script nativo tenha proporcionado as melhores melhorias, alguns modelos (como o Sarvam Audio) mostraram variação mínima entre os níveis de contexto, implicando que eles ignoram majoritariamente os prompts textuais. Por outro outro lado, outros (como o Gemma-3N) dependeram dos prompts ao ponto da instabilidade. Notavelmente, em L5, mesmo o melhor AudioLLM (Gemini 3 Flash) superou o baseline de ASR independente (IndicConformer) tanto em WER quanto em NEER.

Significância e Alegações

O artigo alega que o IndicContextEval é o primeiro benchmark a variar sistematicamente os tipos de contexto enquanto mantém outros fatores constantes através de múltiplas línguas indianas e domínios profissionais. Sua principal significância reside em:

Revelar Comportamentos Divergentes: Ele expõe que os AudioLLMs variam amplamente em sua capacidade de ancorar a transcrição no contexto, com alguns modelos explorando efetivamente os sinais, outros ignorando-os e outros respondendo de forma instável.
Distinguir Mecanismos: O taxonomy controlado permite que pesquisadores distingam entre o ancoramento contextual genuíno e a memorização paramétrica, uma distinção que os benchmarks existentes não conseguem fazer.
Destacar Desafios Abertos: Apesar das interfaces de prompting flexíveis, o artigo conclui que o ancoramento contextual continua sendo um desafio aberto para os AudioLLMs. Os achados sugerem que os modelos atuais não integram sinais contextuais de forma uniforme ou confiável, necessitando de avaliação explícita dessas capacidades antes da implantação em aplicações críticas.

Os autores enfatizam que esses achados derivam de experimentação sistemática e que os recursos do benchmark estão publicamente disponíveis para apoiar pesquisas futuras em reconhecimento de fala robusto e consciente de contexto.