PSK at WMT 2026 MIST: Task-Specialized QLoRA Adapters for Multilingual Summarization and Question Answering

No campo da inteligência artificial, que evolui rapidamente, pesquisadores tentam constantemente ensinar computadores a compreender e gerar linguagem humana em todo o mundo. Um desafio central neste trabalho é criar modelos que possam lidar com muitas tarefas diferentes, como resumir um artigo longo ou responder a uma pergunta específica, sem a necessidade de um cérebro de computador massivo e separado para cada função. O objetivo é criar sistemas que sejam eficientes o suficiente para rodar em hardware padrão, mas flexíveis o suficiente para alternar entre idiomas como hindi, inglês ou iorubá e entre tarefas como escrever um resumo ou resolver um enigma. Esse equilíbrio é crucial porque, embora existam modelos de linguagem poderosos, eles são frequentemente grandes demais para serem práticos para o uso cotidiano ou para necessidades específicas e localizadas. A questão que impulsiona o trabalho recente é se um único modelo menor pode ser ensinado a fazer muitas coisas bem ao anexar pequenas ferramentas especializadas a ele, em vez de construir uma nova máquina gigante para cada novo problema.

Uma equipe de pesquisadores independentes abordou recentemente esse desafio ao participar de uma grande competição internacional projetada para testar o quão bem as máquinas conseguem seguir instruções em dezenas de idiomas. A abordagem deles baseou-se em uma estratégia específica: pegar um modelo de linguagem central e anexar três complementos distintos e leves a ele. Imagine o modelo central como um motor multilíngue e versátil que conhece a gramática e o vocabulário de setenta idiomas diferentes. Por si só, esse motor é bom em conversas gerais, mas tem dificuldades quando solicitado a realizar tarefas estruturadas e específicas, como escrever um resumo científico ou encontrar uma resposta escondida dentro de um texto longo. Para corrigir isso, os pesquisadores construíram três "adaptadores" separados, que são, essencialmente, pequenos módulos de treinamento especializados. Um adaptador aprendeu a resumir documentos, outro aprendeu a responder perguntas baseadas em um texto fornecido e o terceiro aprendeu a responder perguntas abertas de conhecimento geral.

Os pesquisadores começaram com um modelo chamado Tiny Aya Global, que contém aproximadamente 3,35 bilhões de parâmetros, uma medida de sua complexidade e capacidade. Esse tamanho foi escolhido especificamente porque se ajusta aos limites rigorosos da competição, que exigia que os sistemas permanecessem abaixo do limite de 10 bilhões de parâmetros. Em vez de retreinar todo o modelo massivo do zero, o que seria incrivelmente lento e caro, eles usaram uma técnica chamada QLoRA. Este método permite que eles congelem o modelo principal e treinem apenas os minúsculos adaptadores especializados. Eles prepararam esses adaptadores usando diferentes conjuntos de dados. Para a ferramenta de sumarização, alimentaram-na com uma mistura de artigos de notícias gerais e artigos científicos, pareando textos completos com os resumos escritos pelo autor. Para as ferramentas de resposta a perguntas, utilizaram diversos conjuntos de dados contendo perguntas e respostas em muitos idiomas, incluindo alguns que exigiam que o modelo conectasse informações através de diferentes frases.

Quando a equipe testou seu sistema, descobriu que separar as tarefas funcionava significativamente melhor do que tentar ensinar o modelo a fazer tudo de uma vez. Inicialmente, tentaram um adaptador de "multitarefa" único, treinado em uma mistura de todos os dados, mas essa abordagem produziu resultados mais fracos. Em contraste, o sistema com três adaptadores separados mostrou melhorias claras. O adaptador de sumarização, treinado tanto em textos gerais quanto científicos, produziu resções muito mais próximas dos exemplos escritos por humanos do que a versão multitarefa. Da mesma forma, o adaptador de resposta a perguntas, treinado especificamente para perguntas baseadas em contexto, teve um desempenho superior ao encontrar as respostas corretas dentro de um texto. Os pesquisadores observaram que a tarefa de resposta a perguntas abertas era mais imprevisível; enquanto uma versão do adaptador teve um desempenho melhor em pontuações geradas por computador, outra versão foi melhor em lidar com perguntas mais longas e complexas sem esgotar o espaço ou se repetir.

Para garantir que seu sistema fosse robusto, os pesquisadores o testaram em um conjunto de exemplos não utilizados anteriormente que o modelo nunca havia visto. Eles mediram o sucesso usando vários métodos padrão, incluindo o quão próximo a saída do computador correspondia à resposta humana palavra por palavra e o quão semelhante era o significado geral. Os resultados mostraram que sua abordagem especializada melhorou o desempenho na maioria das vinte e quatro línguas testadas. Para a sumarização, o sistema melhorou a qualidade de sua saída em todos os idiomas. Para perguntas baseadas em contexto, houve melhoria em dezenove das vinte e cinco línguas testadas. As perguntas de resposta aberta continuaram sendo a área mais difícil, com resultados variando dependendo do comprimento da pergunta e do método usado para julgar a resposta. Devido a essa incerteza, a equipe decidiu enviar três versões diferentes de seu sistema para a competição, todas usando as mesmas ferramentas fortes de sumarização e resposta de contexto, mas cada uma utilizando uma estratégia diferente para as perguntas de resposta aberta.

O estudo destaca um caminho prático para a construção de uma IA multilíngue eficiente. Ao manter uma base única e compartilhada e adicionar pequenas ferramentas específicas para cada tarefa, os pesquisadores foram capazes de criar um sistema que superou uma abordagem de "tamanho único" sem exigir recursos computacionais massivos. Eles demonstraram que, para tarefas como resumir artigos científicos ou responder perguntas baseadas em um texto, a especialização é a chave. No entanto, também reconheceram que a geração de respostas abertas continua sendo um desafio complexo onde os métodos de pontuação automática nem sempre se alinham com o julgamento humano. O trabalho sugere que, embora possamos ainda não ter uma resposta universal perfeita para geradores, podemos construir ferramentas altamente eficazes e especializadas que funcionem bem em seus domínios específicos, oferecendo uma maneira mais confiável e eficiente de interagir com a tecnologia através dos muitos idiomas do mundo.