One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography
Este artigo demonstra que o pré-treinamento de modelos de linguagem multilíngues em texto romanizado, em vez de ortografia nativa ou IPA, aumenta significativamente a transferência de conhecimento translinguística através de diversos sistemas de escrita, sugerindo que a romanização deve ser uma escolha central de design de pré-treinamento e não uma adaptação pós-hoc.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde um único programa de computador pudesse ler, escrever e compreender todas as línguas da Terra com igual fluência. Esta é a promessa da inteligência artificial multilíngue, um campo que fez progressos incríveis nos últimos anos. Esses programas aprendem ao ler vastas quantidades de texto, absorvendo padrões de gramática e significado. Uma parte fundamental de como eles funcionam é um dicionário compartilhado de fragmentos de palavras, ou subpalavras, que permite reconhecer semelhanças entre diferentes idiomas. Se dois idiomas usam o mesmo alfabeto, como o inglês e o espanhol, eles naturalmente compartilham muitos desses fragmentos, facilitando para o computador a transferência de conhecimento de um para o outro. No entanto, o mundo é repleto de línguas que utilizam sistemas de escrita inteiramente diferentes, como o alfabeto cirílico do russo, o sistema Devanagari do hindi ou o alfabeto árabe do urdu. Quando esses alfabetos não se sobrepõem, o dicionário compartilhado do computador entra em colapso, e a capacidade de aprender com uma língua para ajudar outra desaparece. Essa barreira tem sido, há muito tempo, um obstáculo para a criação de modelos de linguagem verdadeiramente universais.
Para resolver isso, pesquisadores tentaram forçar diferentes sistemas de escrita a assumirem uma forma comum. Uma abordagem é converter o texto para o Alfabeto Fonético Internacional, um conjunto universal de símbolos que representa os sons da fala humana. Outra é transliterar o texto para o alfabeto latino, o sistema usado para o inglês, reescrevendo efetivamente cada língua em um único script compartilhado. Embora esses métodos tenham mostrado potencial em experimentos menores, permanecia incerto qual abordagem era verdadeiramente superior ao construir modelos grandes e poderosos do zero, ou se simplesmente converter o texto após o modelo já ter sido treinado funcionaria tão bem quanto. Uma equipe de pesquisadores da Universidade Estadual de Ohio e da Universidade de Washington propôs-se a responder a essas perguntas, construindo e testando uma série de modelos de linguagem projetados para lidar com oito idiomas distintos abrangendo quatro famílias linguísticas diferentes.
Os pesquisadores construíram um experimento controlado usando oito idiomas: inglês e espanhol, russo e polonês, hindi e urdu, e tâmil e malaiala. Esses pares foram escolhidos porque ofereciam uma mistura de relações; alguns compartilhavam alfabetos, enquanto outros compartilhavam sons, mas usavam sistemas de escrita completamente diferentes. Eles construíram três versões de um modelo de linguagem para cada um de três tamanhos diferentes, variando de aproximadamente 467 milhões a mais de um bilhão de parâmetros. Para cada tamanho, treinaram um modelo no script nativo original, um segundo no texto convertido para o Alfabeto Fonético Internacional e um terceiro no texto convertido para o alfabeto latino. Crucialmente, mantiveram todo o resto idêntico: a quantidade de dados, a arquitetura do computador e o tempo de treinamento. Isso permitiu que isolassem o efeito do próprio sistema de escrita na capacidade do modelo de aprender e transferir conhecimento.
Os resultados foram impressionantes e claros. Os modelos treinados em texto convertido para o alfabeto latino, ou romanizados, superaram consistentemente os outros em todos os testes. Quer a tarefa fosse responder perguntas, compreender o significado de sentenças ou resumir artigos de notícias, os modelos romanizados mostraram a maior capacidade de transferir conhecimento de uma língua para outra. Essa vantagem aumentava à medida que os modelos se tornavam maiores. Os modelos treinados no alfabeto fonético também tiveram um desempenho melhor do que aqueles treinados nos scripts originais na maioria dos casos, mas geralmente ficaram aquém dos modelos romanizados. A única exceção foi o par hindi e urdu; como esses dois idiomas são quase idênticos na forma como soam, mas usam sistemas de escrita completamente diferentes, a abordagem fonética funcionou excepcionalmente bem para eles, igualando o desempenho dos modelos romanizados. No entanto, quando os modelos foram testados em línguas que nunca haviam visto antes, a abordagem romanizada permaneceu a mais robusta.
Talvez a descoberta mais surpreendente tenha ocorrido em relação a uma estratégia comum usada na área: pegar um modelo já treinado em scripts nativos e fazer o ajuste fino (fine-tuning) nele com dados romanizados posteriormente. Muitos pesquisadores assumiam que isso seria um atalho eficiente, permitindo obter os benefícios da romanização sem o custo de retreinar o modelo inteiro. O estudo descobriu o oposto: quando os pesquisadores aplicaram esse atalho aos seus modelos, o desempenho caiu significativamente nas línguas que o modelo já conhecia. A intervenção só ajudou quando o modelo estava sendo solicitado a lidar com uma língua para a qual não teve exposição prévia e, mesmo assim, a melhoria foi modesta em comparação com o treinamento do modelo em texto romanizado desde o início. Isso sugere que o benefício da romanização não é apenas sobre o formato de saída final, mas sobre como o modelo aprende a estrutura fundamental da linguagem durante sua fase inicial de treinamento.
O estudo também analisou a eficiência desses diferentes sistemas de escrita. Línguas que utilizam scripts complexos, como o tâmil e o malaiala, exigiram significativamente mais tokens de computador para representar a mesma quantidade de texto em comparação com línguas que usam o alfabeto latino. Isso significava que o treinamento no script original não era apenas mais difícil para o modelo aprender entre as línguas, mas também mais caro e lento. Tanto a abordagem fonética quanto a romanizada comprimiram esse texto, trazendo o custo e a velocidade dessas línguas para o mesmo nível das outras. Essa compressão, combinada com a melhor capacidade de compartilhar conhecimento através de diferentes scripts, tornou a abordagem romanizada a escolha de design mais eficaz para construir modelos multilíngues que abrangem diversos sistemas de escrita.
Em última análise, a pesquisa indica que, para a inteligência artificial realmente transpor a lacuna entre as muitas línguas do mundo, a escolha de como representar o texto é uma decisão de design fundamental, não um detalhe técnico menor. As evidências sugerem que converter diversos scripts em uma forma latina compartilhada antes do treinamento do modelo produz os melhores resultados, permitindo que o sistema internalize uma estrutura unificada que funciona através das fronteiras linguísticas. Embora converter o texto para símbolos fonéticos ofereça alguns benefícios, particularmente para línguas que soam parecidas mas parecem diferentes, isso não substitui as vantagens de um script unificado. As descobertas desafiam a ideia de que simplesmente ajustar um modelo depois de ele ser construído é o suficiente; em vez disso, apontam para a necessidade de uma estratégia deliberada e antecipada sobre como essas mentes digitais devem aprender a ler o mundo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.