Resumo Técnico: ChiKhaPo

Definição do Problema

Os benchmarks atuais para Grandes Modelos de Linguagem (LLMs) são predominantemente restritos a línguas de alto recurso (HRLs) e focam em tarefas de ordem superior, como raciocínio complexo e geração de conteúdo. Consequentemente, há uma lacuna significativa na avaliação da competência linguística básica de LLMs em mais de 3.800 línguas escritas do mundo. Benchmarks multilíngues existentes, como o FLORES+, cobrem apenas uma fração dessas línguas (ex: 212 línguas), deixando a vasta maioria das línguas do mundo sem avaliação, mesmo para capacidades fundamentais como compreensão e geração de nível de palavra. Essa falta de avaliação dificulta a identificação de inequidades linguísticas em Processamento de Linguagem Natural (NLP).

Metodologia

Os autores introduzem o ChiKhaPo, um benchmark massivamente multilíngue projetado para avaliar habilidades de compreensão e geração lexical em LLMs. O benchmark é construído utilizando recursos públicos existentes, incluindo léxicos, dados monolíngues e bitexto, permitindo a cobertura de mais de 2.700 línguas.

Estrutura do Benchmark

O ChiKhaPo consiste em oito subtareas derivadas de quatro tarefas principais, cada uma avaliada em duas direções:

1. Compreensão ($X \to \text{modelo}$): Avalia a capacidade do modelo de compreender uma palavra em uma língua alvo $X$ (frequentemente traduzindo-a para o inglês).
2. Geração ($\text{modelo} \to X$): Avalia a capacidade do modelo de gerar uma palavra na língua alvo $X$ dado um prompt em inglês.

As quatro tarefas principais são:

• Tradução de Palavras (WT): Prompt direto para traduzir uma única palavra. Esta tarefa depende exclusivamente de léxicos e cobre 2.746 línguas.
• Tradução de Palavras com Contexto (WTWC): Tradução de uma palavra dada uma sentença de contexto de origem. Isso requer dados monolíngues e cobre 522 línguas.
• Modelagem de Linguagem Condicionada à Tradução (TCLM): Mede a probabilidade de geração de uma palavra alvo dada uma sentença de origem e um contexto parcial da língua alvo. Isso utiliza pares de sentenças paralelas (bitexto) e cobre 211 línguas.
• Tradução Automática de Saco de Palavras (BOW MT): Avalia se palavras específicas aparecem em uma saída de tradução ao nível de sentença, independentemente da ordem sintática. Isso também utiliza bitexto e cobre 211 línguas.

Pontuação e Avaliação

O benchmark emprega métricas de pontuação ao nível de palavra. Para tarefas binárias (WT, WTWC), a correção é determinada via correspondências exatas, tratamento de inflexões, correspondência de substrings e sinonímia (usando WordNet para saídas em inglês). Para tarefas probabilísticas (TCLM), a métrica é a probabilidade de geração da palavra correta. Para BOW MT, as pontuações são agregadas com base na presença das palavras alvo na saída.

Os autores avaliaram seis LLMs multilingues de última geração (SOTA): aya-101, aya-23-8b, bloomz-7b1-mt, falcon-7b-instruct, gemma-2b-it e Llama-3.1-8B-Instruct. Devido a restrições computacionais, uma versão "lite" do benchmark foi utilizada, amostrando até 300 entradas de vocabulário por língua para WT/WTWC e 30% dos dados disponíveis para tarefas ao nível de sentença.

Resultados Principais

• Lacunas de Desempenho: Todos os seis modelos avaliados demonstraram margem significativa para melhoria, particularmente em línguas de baixo recurso (LRLs). O benchmark atua com sucesso como uma medida desafiadora de desempenho multilingue.
• Disparidade Direcional: Os modelos performaram consistentemente melhor na direção da compreensão ($X \to \text{modelo}$) do que na direção da geração ($\text{modelo} \to X$), destacando uma lacuna entre Compreensão de Linguagem Natural (NLU) e Geração de Linguagem Natural (NLG) em contextos multilingues.
• Correlação de Recurso e Família: O desempenho foi fortemente correlacionado com os níveis de recursos da língua (representados pela contagem de documentos na Wikipedia) e com as famílias linguísticas. Línguas indo-europeias superaram consistentemente famílias sub-representadas como Austronésia e Atlântico-Congo. A relação entre o nível de recurso e o desempenho foi encontrada como sendo aproximadamente logarítmica.
• Diferenças de Modelo: O modelo aya-101 alcançou as maiores pontuações médias em cinco das oito subtarefas. Os autores atribuem isso à sua arquitetura encoder-decoder, maior contagem de parâmetros (13B) e ajuste de instrução em 101 línguas.
• Correlação com MT: As pontuações de Tradução de Palavras (WT) mostraram uma forte correlação linear com as pontuações de tradução automática ao nível de sentença (BLEU) nos dados do FLORES+ ($r \approx 0.87$ para $X \to \text{modelo}$). Isso sugere que a WT pode servir como um proxy de baixo custo para avaliar capacidades de tradução automática na ausência de extensos bitextos.

Significância e Alegações

O artigo posiciona o ChiKhaPo como um passo crítico para enfrentar a inequidade linguística em NLP. Suas principais contribuições são:

1. Escala Massiva: Fornece o primeiro benchmark de competência lexical cobrindo mais de 2.700 línguas, superando a cobertura linguística de qualquer benchmark existente por uma ordem de magnitude.
2. Avaliação Granular: Desloca o foco do raciocínio complexo para a competência "atômica" ao nível de palavra, permitindo que pesquisadores rastreiem as capacidades linguísticas fundamentais de LLMs em línguas específicas.
3. Eficiência de Recursos: Ao alavancar léxicos e dados monolíngues existentes, permite a avaliação de línguas para as quais não existem corpora paralelos.

Os autores alegam modestamente que, embora o benchmark dependa de recursos públicos (que podem ser ruidosos, particularmente o PanLex), ele destaca com sucesso a necessidade premente de melhorar a avaliação multilingue. Eles esperam que este trabalho incentive a coleta de melhores recursos léxicos para línguas de baixo recurso e promova a avaliação massivamente multilingue de LLMs como um passo necessário para sistemas de IA mais equitativos.