Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation
Este artigo demonstra que métricas normalizadas amplamente utilizadas para a avaliação de modelos de linguagem crosslinguais introduzem vieses devido a diferenças de tokenização e ortografia, e propõe que o log-verossimilhança negativa ao nível da sentença sobre sequências semanticamente equivalentes oferece uma alternativa mais consistente e justa para comparar modelos entre idiomas.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo em rápida evolução da inteligência artificial, os computadores estão aprendendo a falar e escrever em dezenas de línguas humanas. Essas mentes digitais, conhecidas como modelos de linguagem, são treinadas em vastas bibliotecas de texto para prever qual palavra vem a seguir em uma frase. À medida que esses sistemas se tornam mais poderosos, os pesquisadores enfrentam um desafio crítico: como saber se um modelo é verdadeiramente bom em um idioma específico, ou se ele é apenas bom na forma como esse idioma é escrito em um computador? Para responder a isso, os cientistas devem medir o quão bem um modelo compreende o significado de um texto, não apenas o quão eficientemente ele pode processar os caracteres ou símbolos brutos. O problema é que as ferramentas atualmente usadas para medir essa compreensão frequentemente contêm armadilhas ocultas. Elas podem ser enviesadas pelo número de letras em uma palavra, pelo script específico usado para escrever uma língua, ou pela maneira como o computador divide uma frase em pedaços minúsculos para processamento. Se essas ferramentas forem tendenciosas, elas podem fazer um modelo parecer brilhante em uma língua e desajeitado em outra, não por causa de sua inteligência real, mas devido a peculiaridades técnicas na forma como os dados são manipulados. Isso torna quase impossível comparar de forma justa o desempenho de uma inteligência artificial através das diversas línguas do mundo.
Uma equipe de pesquisadores da Georgetown University e da EleutherAI partiu para resolver esse enigma testando as próprias ferramentas usadas para julgar esses modelos. Eles construíram um experimento controlado usando cinquenta modelos de computador distintos, cada um treinado exclusivamente em uma de dez línguas diferentes. Para garantir um teste justo, eles treinaram esses modelos em dados paralelos, o que significa que os modelos aprenderam a partir de textos que expressavam exatamente o mesmo significado em diferentes idiomas. Eles então testaram esses modelos usando seis métodos de medição diferentes que são comumente usados na área. Alguns desses métodos contam o número total de blocos de construção minúsculos, ou tokens, que um modelo usa para entender uma frase. Outros contam o número de bytes, que são as unidades digitais de armazenamento, ou o número de caracteres individuais na tela. Os pesquisadores também testaram um método que simplesmente soma a dificuldade total que um modelo tem em prever uma frase inteira, sem dividir essa dificuldade pelo comprimento do texto.
Os resultados revelaram uma verdade surpreendente sobre como essas medições funcionam. Os métodos que dividem o desempenho de um modelo pelo número de tokens, bytes ou caracteres foram considerados profundamente falhos ao comparar diferentes idiomas. Essas métricas favoreceram consistentemente línguas que naturalmente usam menos caracteres ou bytes para expressar a mesma ideia, como o chinês, enquanto penalizaram línguas que exigem sequências mais longas de símbolos. Em um exemplo marcante, um modelo treinado apenas em inglês mostrou-se "melhor" no russo do que no inglês quando medido por esses métodos falhos, simplesmente porque o computador dividiu o texto russo em mais pedaços, diminuindo artificialmente a pontuação. Isso aconteceu mesmo que o modelo nunca tivesse visto o russo antes e tivesse desempenhado mal nele na realidade. O estudo mostrou que essas métricas populares não estavam medindo a inteligência ou compreensão real do modelo; elas estavam meramente refletindo as escolhas de engenharia feitas quando o computador foi configurado para ler o texto.
Em contraste, o método que somou a dificuldade total de uma frase sem dividi-la pelo comprimento provou ser a única abordagem justa. Essa medida, que os pesquisadores chamam de log-verossimilhança negativa ao nível da sentença, observou o esforço total que o modelo empregou para compreender todo o significado de um texto. Como não tentou normalizar a pontuação com base no comprimento do texto em termos de letras ou armazenamento digital, ela permaneceu estável independentemente do script da língua ou do tamanho do vocabulário do computador. Quando os pesquisadores testaram este método em grandes modelos multilíngues do mundo real, ele foi o único métrico que identificou corretamente quais línguas os modelos havam aprendido melhor, correspondendo à composição conhecida de seus dados de treinamento. As outras métricas continuaram a produzir classificações distorcidas pelos detalhes técnicos de como o texto era armazenado e processado.
Os pesquisadores também investigaram se essas medições permaneciam consistentes quando o mesmo significado era expresso de diferentes formas. Eles descobriram que, embora algumas métricas flutuassem drasticamente dependendo de qual tradução ou paráfrase era usada, o método ao nível da sentença permanecia constante. Isso sugere que a estabilidade aparente dos outros métodos era uma ilusão criada por sua sensibilidade a detalhes superficiais, em vez de um sinal de verdadeira confiabilidade. O estudo conclui que, para entender verdadeiramente quão bem a inteligência artificial funciona através de diferentes culturas e línguas, os cientistas devem parar de confiar em métricas que contam tokens, bytes ou caracteres. Em vez disso, eles devem usar medidas que respeitem o significado total do texto, garantindo que a avaliação reflita o aprendizado real do modelo, e não as peculiaridades de sua representação digital. Essa mudança é essencial para construir sistemas que sejam verdadeiramente justos e eficazes para todos, independentemente da língua que falem.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.