Evaluating Cross-lingual Knowledge Consistency in Code-Mixed vis-a-vis Indian Languages using IndicKLAR

Resumo Técnico: Avaliando a Consistência de Conhecimento Cross-lingual em Línguas Indianas Code-Mixed usando IndicKLAR

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs) exibem uma lacuna significativa de "consistência cross-lingual", onde recuperam de forma confiável conhecimento factual em línguas de alto recurso como o inglês, mas frequentemente falham quando a mesma consulta é feita em línguas de baixo recurso. Essa disparidade representa uma barreira crítica para a implantação equitativa de IA em regiões linguisticamente diversas como a Índia, que reconhece 22 línguas agendadas. Benchmarks existentes focam predominantemente em entradas monolíngues limpas ou pares de línguas de alto recurso, ignorando em grande parte a realidade da comunicação code-mixed (intercalando inglês e línguas indianas) comum em interações digitais cotidianas. Além disso, avaliações anteriores frequentemente dependem da tradução de saídas do modelo de volta para o inglês via sistemas externos, o que pode obscurecer se a saída de baixo recurso foi inerentemente fiel.

Metodologia
Para abordar essas lacunas, os autores introduzem INDIKLAR, uma extensão Indic do benchmark KLAR-CLC. A metodologia envolve três componentes principais:

1. Construção do Benchmark (INDIKLAR):

   • Escopo: Cobre 18 das 22 línguas agendadas indianas.
   • Variantes: Para 11 dessas línguas (onde a cobertura linguística estava disponível), os autores construíram variantes code-mixed intercalando palavras de conteúdo em inglês na estrutura gramatical da língua nativa.
   • Alinhamento: O conjunto de dados fornece um alinhamento de três vias para 11 línguas: (1) Nativa Indiana (monolíngue), (2) Code-Mixed e (3) Inglês. As 7 línguas restantes possuem alinhamento de duas vias (Nativa e Inglês).
   • Verificação: Tanto as variantes monolíngues quanto as code-mixed passaram por verificação de qualidade humana por falantes nativos ou quase nativos para garantir fluência e naturalidade.
   • Escala: Cada configuração de língua contém 2.619 instâncias abrangendo 20 categorias factuais.

2. Configuração Experimental:

   • Modelos: A avaliação foi conduzida em nove modelos de pesos abertos em três famílias (Llama 3.1/3.2, Gemma 3, Qwen 2.5), variando de 1B a 14B parâmetros.
   • Métricas: O estudo mede Precisão (correção das previsões) e Consistência Cross-lingual (CLC) (sobreposição de previsões corretas entre pares de línguas).
   • Estratégias de Prompting: Os autores compararam sistematicamente várias estratégias para fechar a lacuna de desempenho:
     • Linha de Base: Prompting direto na língua de origem.
     • Estratégias de 2 Passos: Chamadas de inferência separadas para conversão (para code-mixed, inglês ou script romano transliterado) seguidas de resposta.
     • Estratégias de 1 Passo: Geração conjunta de conversão e resposta.
     • Translate-in-Thought (TinT): Uma estratégia inovadora de passo único onde o modelo é instruído a converter internamente a entrada (para inglês ou code-mixed) e emitir apenas a resposta final, sem gerar texto intermediário.

3. Análise:

   • O estudo analisa trajetórias de desempenho de Nativo $\to$ Code-Mixed $\to$ Inglês.
   • Inclui um estudo de caso de interpretabilidade usando análise de rank por camada para observar como a representação interna do modelo do token de resposta correta evolui através das camadas.

Principais Contribuições

• Benchmark INDIKLAR: O primeiro benchmark a emparelhar consultas factuais monolíngues Indicas com contrapartes code-mixed sob verificação por falantes nativos nesta escala, permitindo avaliação alinhada em entradas em inglês, nativas e code-mixed.
• Translate-in-Thought (TinT): Introdução de uma estratégia de prompting implícito de passo único que elicita tradução interna sem saídas intermediárias explícitas, oferecendo ganhos de desempenho com menor latência de inferência comparado a métodos de múltiplos passos.
• Identificação do "Ponto de Virada": A descoberta de que a fronteira entre previsão incorreta e correta (o "ponto de virada") reside consistentemente entre a configuração nativa de baixo recurso e a configuração code-mixed, e não entre code-mixed e inglês.

Resultados

• A Lacuna Nativo-Inglês: As lacunas de precisão em língua nativa em relação ao inglês podem atingir aproximadamente 0,50, particularmente para modelos menores e línguas como Assamês e Telugu.
• Eficácia Code-Mixed: Entradas code-mixed fecham significativamente essa lacuna, trazendo o desempenho para dentro de ~0,05 da precisão ao nível de inglês sem qualquer intervenção no nível do modelo (re-treinamento).
• Desempenho de Prompting:
  • TinT mostra ganhos estatisticamente significativos sobre a linha de base em todas as línguas e famílias de modelos.
  • Eficiência: Variantes TinT alcançam esses ganhos com tempo de inferência significativamente menor (por exemplo, ~0,09s por amostra para Llama-3.1-8B) comparado a estratégias de múltiplos passos.
  • Escalonamento: A eficácia do TinT escala com o tamanho do modelo; modelos maiores (por exemplo, 8B–14B) demonstram capacidades latentes de tradução mais fortes. Modelos menores (<1,5B) às vezes lutam com reformulação, embora o Gemma-3-1B tenha mostrado melhoria consistente.
• Famílias de Línguas: Línguas Indo-arianas geralmente viram ganhos maiores com TinT (+18% de precisão) comparado a línguas Dravidianas (+14%), embora TinT tenha melhorado o desempenho na maioria das categorias.
• Localização do Ponto de Virada: Seja induzido pela forma superficial de entrada (Nativo vs. Code-Mixed) ou conversão interna (Nativo vs. TinT), a transição de previsão incorreta para correta ocorre entre as configurações nativa e code-mixed.
• Ablação: Variantes code-mixed superaram variantes de romanização pura (transliteração), sugerindo que pistas lexicais bilíngues significativas (âncoras em inglês) são mais críticas do que a uniformidade de script apenas.

Significado e Alegações
O artigo alega que o code-mixing atua como uma ponte poderosa para a consistência de conhecimento cross-lingual, permitindo que modelos aproveitem capacidades de raciocínio em inglês mais fortes enquanto preservam semânticas de baixo recurso. A introdução do Translate-in-Thought (TinT) demonstra que os modelos possuem uma capacidade latente de tradução que pode ser elicida apenas através de prompting, sem a necessidade de re-treinamento caro ou sistemas de tradução externos.

Os autores enfatizam que a descoberta do "ponto de virada" sugere que o modo de falha primário para a recuperação de conhecimento de baixo recurso não é uma falta de conhecimento, mas sim a dificuldade de acessar esse conhecimento através do script nativo. Ao deslocar a entrada para um estado code-mixed ou internamente traduzido, os modelos podem acessar o mesmo conhecimento que possuem para o inglês.

Limitações
Os autores notam várias limitações:

• Geração Sintética: Variantes code-mixed foram geradas via APIs GPT e verificadas por humanos, mas podem não capturar totalmente a diversidade dialetal do code-mixing do mundo real.
• Cobertura: Quatro línguas agendadas (Bodo, Kashmiri, Manipuri/Meitei, Santali) foram excluídas devido à qualidade limitada do sistema de tradução e acesso a anotadores.
• Generalização: As descobertas baseiam-se em um benchmark específico de recuperação factual (KLAR-CLC) e podem não generalizar para outras tarefas de PNL como raciocínio ou geração aberta.
• Escala de Modelo: Experimentos foram limitados a modelos de até 14B parâmetros; tendências para modelos maiores permanecem uma questão em aberto.
• Interpretabilidade: A análise mecanicista (rank por camada) foi conduzida em um único modelo (Llama-3.1-8B-Instruct) e deve ser vista como ilustrativa, não exaustiva.