Language Models for Portuguese: A Systematic Mapping Study

Imagine a internet como uma biblioteca gigante e movimentada onde cada livro é escrito em uma língua diferente. Por muito tempo, os computadores mais inteligentes desta biblioteca — aqueles que conseguem ler, escrever e conversar como humanos — foram treinados majoritariamente com livros em inglês. Eles se tornaram incrivelmente fluentes em inglês, mas quando você os questionava sobre histórias de outras terras, eles frequentemente tropeçavam, se confundiam ou apenas inventavam coisas. Isso acontece porque o "cérebro" desses computadores é construído a partir das palavras que eles leram; se eles não leram livros suficientes em um idioma específico, não conseguem compreender verdadeiramente a cultura, as piadas ou a história por trás dessas palavras. Recentemente, cientistas começaram a construir computadores especiais para o português, a língua falada por centenas de milhões de pessoas no Brasil, Portugal e partes da África e Ásia. Mas, assim como uma biblioteca com livros espalhados, as informações sobre esses novos computadores em português estão bagunçadas, escondidas em diferentes lugares e difíceis de encontrar de uma só vez.

Este artigo é como um bibliotecário superorganizado que decide limpar toda a seção de português. Os autores, uma equipe de uma universidade do Brasil, realizaram uma busca massiva para encontrar cada um dos modelos de computador projetados para falar português que foram publicados entre 2020 e 2025. Eles não apenas os contaram; eles abriram as caixas, conferiram os manuais e tentaram entender como foram construídos, o que aprenderam e se alguém realmente poderia usá-los. Eles encontraram 46 modelos diferentes, variando de chatbots gerais a especialistas que falam apenas sobre direito, medicina ou petróleo e gás. A grande descoberta deles? Embora haja um progresso emocionante, a "biblioteca" ainda é um pouco caótica. Muitos desses modelos são como receitas secretas que apenas o chef conhece (o código não é compartilhado), alguns foram ensinados usando livros traduzidos que não capturam bem o sabor local, e muito poucos foram verificados para ver se são justos ou seguros para uso. Os autores sugerem que, para tornar esses computadores verdadeiramente úteis para todos que falam português, precisamos parar de depender de traduções, compartilhar nossas plantas de forma mais aberta e garantir que os computadores compreendam a rica diversidade da língua, não apenas a versão mais popular dela.

A Grande Caçada aos Modelos de Português

Pense no mundo da Inteligência Artificial (IA) como um enorme canteiro de obras. Durante anos, os edifícios mais altos e impressionantes foram construídos usando tijolos ingleses. Estes são os "Grandes Modelos de Linguagem" (LLMs), os computadores inteligentes que podem escrever ensaios, responder perguntas e até escrever código. Mas os trabalhadores deste canteiro de obras perceberam que, se você construir apenas com tijolos de inglês, não pode construir uma casa que pareça um lar para quem fala português. Assim, entre 2020 e 2025, uma nova onda de construtores começou a construir casas especificamente para falantes de português.

O problema era que essas novas casas estavam espalhadas pelo mapa. Algumas eram descritas em revistas científicas sofisticadas, outras eram apenas notas em um site e algumas estavam escondidas em relatórios técnicos que ninguém lia. Era como tentar encontrar um brinquedo específico em um quarto onde os brinquedos foram jogados em diferentes pilhas, algumas rotuladas, outras não. Os autores deste artigo decidiram arrumar o quarto. Eles realizaram um "estudo de mapeamento sistemático", que é uma forma elegante de dizer que criaram uma lista mestre de cada modelo de linguagem portuguesa que conseguiram encontrar.

Eles encontraram 46 modelos no total. São muitos computadores diferentes! Eles os separaram como um colecionador separa selos. Eles observaram qual "modelo base" cada um utilizava (como se foi construído sobre uma fundação de BERT, Llama ou T5), para o que foi projetado (conversação geral, aconselhamento jurídico, diagnóstico médico ou análise de tweets) e qual o seu tamanho (variando de modelos minúsculos com 12 milhões de parâmetros até gigantescos com 72 bilhões).

A "Árvore Genealógica" da IA em Português

Uma das coisas mais legais que os autores fizeram foi desenhar uma "árvore filogenética". Imagine uma árvore genealógica para esses computadores. Em vez de mostrar como os humanos são relacionados aos seus avós, esta árvore mostra como esses modelos de IA são relacionados aos seus "pais".

Eles descobriram que a maioria dos modelos de português são descendentes de alguns modelos "ancestrais" famosos. O maior ramo da família vem do BERT, que é como o bisavô de muitos desses modelos; 20 dos 46 modelos encontrados foram construídos diretamente sobre o BERT ou seus primos. A segunda maior família vem da família Llama, que é o ancestral novo e moderno, no qual 10 modelos se baseiam.

A árvore também mostra como esses modelos evoluíram. Alguns começaram como computadores de uso geral (bons em tudo) e depois receberam treinamento especializado para se tornarem especialistas em campos específicos. Por exemplo, há um ramo onde um modelo começou como um leitor geral, depois estudou livros médicos para se tornar um "CardioBERTpt" (uma IA de cardiologia) e, depois, outra versão estudou documentos jurídicos para se tornar um "JurisBERT" (uma IA de direito). É como um aluno que começa em uma escola geral e depois frequenta faculdades especializadas para se tornar um médico ou um advogado.

O Problema da "Porta Aberta"

Os autores também verificaram as portas dessas 46 casas para ver se alguém podia entrar. Eles procuraram por três coisas:

1. O Código: Você consegue ver as plantas/projetos?
2. O Modelo: Você consegue baixar o cérebro do computador finalizado?
3. Os Dados: Você consegue ver os livros com os quais o computador foi treinado?

As notícias aqui são um pouco mistas. Dos 46 modelos, apenas 11 tinham seu código-fonte (as plantas) disponível para todos verem. Cerca de 5 modelos estavam completamente trancados — você não conseguia usá-los de forma alguma. E para os dados de treinamento (os livros), apenas 17 modelos utilizaram dados que estavam livremente disponíveis para download. O restante utilizava dados que estavam escondidos atrás de um pagamento, exigiam permissão especial para solicitar ou eram mantidos em segredo pela empresa que os construiu.

Os autores também verificaram se esses modelos vinham com um "Model Card", que é como um rótulo nutricional para a IA. Ele diz no que o modelo é bom, no que ele é ruim e se ele possui vieses. Surpreendentemente, apenas 3 dos 46 modelos possuíam um rótulo nutricional completo e perfeito. A maioria tinha rótulos incompletos, e 10 não tinham rótulo nenhum. Isso significa que, se você usar esses modelos, pode não saber exatamente no que está se metendo.

A "Armadilha da Tradução" e as Vozes Ausentes

Uma das descobertas mais importantes é sobre como esses modelos aprenderam a falar. Os autores notaram que muitos modelos foram ensinados usando livros que foram traduzidos do inglês para o português. Imagine tentar aprender sobre a cultura brasileira lendo um livro que foi originalmente escrito em Nova York e depois traduzido palavra por palavra. Você pode acertar a gramática, mas perderá as gírias, as piadas e os sentimentos locais.

O artigo sugere que depender de dados traduzidos é um problema. Isso significa que esses modelos podem não compreender as nuances culturais únicas dos falantes de português no Brasil, em Portugal ou na África. Além disso, os autores apontam que quase todos os modelos encontrados focam apenas em duas versões do português: o português do Brasil e o português de Portugal. Eles ignoraram completamente os outros sete países onde o português é uma língua oficial, como Angola, Moçambique e Cabo Verde. Os autores argumentam que isso é uma forma de "preconceito linguístico" — assumir que, só porque um modelo fala o português brasileiro e o europeu, ele pode falar por todos que falam a língua. Eles sugerem que os modelos futuros precisam ser treinados com dados que representem verdadeiramente a diversidade de todas as nações que falam português.

O Que Vem a Seguir?

Os autores concluem que, embora tenhamos feito muitos progressos, ainda temos um longo caminho a percorrer. Eles sugerem que a próxima geração de IA em português precisa:

• Parar de usar dados traduzidos e começar a usar livros e conversas originais e reais de todo o mundo.
• Compartilhar suas plantas (código) para que outros cientistas possam verificar seu trabalho e melhorá-lo.
• Incluir mais vozes de falantes de português da África e da Ásia, não apenas do Brasil e de Portugal.
• Adicionar mais sentidos. No momento, a maioria desses modelos entende apenas texto. Os autores veem uma grande oportunidade para construir modelos que também entendam imagens e sons (modelos multimodais) especificamente para o português, como um computador que possa olhar para uma foto de uma rua brasileira e descrevê-la usando gírias locais.

Em resumo, a biblioteca da IA em português está crescendo rápido, mas precisa de melhor organização, portas mais abertas e uma variedade maior de vozes para servir verdadeiramente aos milhões de pessoas que falam o idioma.