MGAL: A Multilingual Granularity-Aware Long-Context Benchmark

Imagine tentar ler um livro de mil páginas, mas em vez de virar as páginas, você é forçado a manter todo o texto em sua mente de uma só vez, procurando por um único fato escondido em algum lugar no meio. Este é o desafio enfrentado pelos sistemas modernos de inteligência artificial conhecidos como modelos de linguagem de grande escala. Esses programas tornaram-se notavelmente habilidosos em compreender a linguagem humana, sendo capazes de escrever ensaios, responder perguntas e traduzir textos com facilidade. No entanto, sua capacidade de processar documentos muito longos — que abrangem dezenas de milhares de palavras — continua sendo um obstáculo significativo. Embora possam frequentemente recordar um fato do início ou do fim de um texto, eles frequentemente tropeçam quando a informação necessária está enterrada profundamente no meio, ou quando devem entender como diferentes partes de uma história se conectam para formar um todo coerente. Pesquisadores há muito suspeitam que esses sistemas lutam com o problema do "contexto longo", mas até agora, não havia uma maneira abrangente de testar exatamente onde e por que eles falham, especialmente ao lidar com idiomas que não sejam o inglês.

Uma equipe de pesquisadores construiu agora um novo campo de testes chamado MGAL para resolver este mistério. Eles construíram este benchmark usando documentos do mundo real das Nações Unidas, especificamente relatórios que variam de 8.000 a 128.000 tokens de extensão. Esses documentos cobrem tópicos globais críticos como direitos humanos, manutenção da paz e saúde pública, e estão disponíveis em seis idiomas oficiais: inglês, chinês, francês, russo, espanhol e árabe. Os pesquisadores não criaram apenas um questionário simples; eles projetaram um conjunto sofisticado de tarefas que testam os modelos em quatro níveis diferentes de detalhe. No nível mais fino, os modelos devem encontrar palavras ou números específicos. No próximo nível, devem entender como uma única frase se encaixa em um parágrafo. Em seguida, devem gerar parágrafos ausentes que façam sentido no contexto e, finalmente, devem resumir ou traduzir documentos inteiros. Crucialmente, os pesquisadores também rastrearam exatamente onde a informação estava localizada no texto — se aparecia no início, no meio ou no fim — permitindo que vissem se os modelos tinham um viés em relação a certas partes do documento.

Quando os pesquisadores testaram doze dos modelos de linguagem mais avançados contra este novo benchmark, os resultados revelaram um padrão claro e consistente. Os modelos tiveram um desempenho excepcional quando a tarefa exigia encontrar uma palavra ou número específico, mostrando que podem agir como mecanismos de busca eficientes para detalhes finos. No entanto, à medida que as tarefas se tornavam mais amplas e exigiam a compreensão de grandes blocos de texto, como resumir um relatório inteiro ou preencher um parágrafo ausente, seu desempenho caiu significamente. Os modelos tiveram dificuldade em manter uma compreensão coerente do documento como um todo. Além disso, o estudo destacou uma lacuna distinta entre línguas de alto recurso, como o inglês e o chinês, e línguas de baixo recurso. Embora os maiores e mais caros modelos tenham performado de forma semelhante entre os idiomas, modelos menores e de código aberto mostraram uma vantagem clara para os principais idiomas e tiveram dificuldades consideráveis com os outros.

Talvez as descobertas mais reveladoras tenham vindo da análise de como os modelos falharam. Os pesquisadores descobriram que, quando as frases em um texto compartilhavam tópicos semelhantes ou repetiam os mesmos nomes, os modelos tendiam a ficar confusos. Em vez de entender o papel lógico que uma frase desempenhava — se estava fornecendo um contexto, oferecendo uma conclusão ou apresentando um contra-argumento — os modelos dependiam de pistas superficiais. Eles escolhiam a frase que soava mais semelhante ao texto circundante ou que continha as mesmas palavras de ligação, mesmo que fosse a escolha errada. Isso é semelhante a um estudante que, ao ser solicitado a resumir uma história, simplesmente repete os nomes dos personagens que mais lembra, em vez de explicar o que realmente aconteceu. Adicionalmente, o estudo descobriu que os modelos frequentemente produziam textos que soavam fluentes e gramaticalmente perfeitos, mas eram factualmente errados. Eles inventariam detalhes, datas ou pessoas de forma confiante, que não estavam no documento original, criando uma narrativa de sonoridade suave que se afastava da verdade.

Os pesquisadores também confirmaram que a posição da informação importa profundamente. Em muitas tarefas, os modelos foram muito melhores em encontrar respostas localizadas no início ou no fim de um documento, enquanto o desempenho caiu notavelmente quando a resposta estava no meio. Isso sugere que os modelos têm dificuldade em manter sua atenção focada no centro de uma sequência longa de texto. Ao utilizar este novo benchmark, a equipe forneceu um mapa claro das limitações atuais da inteligência artificial na compreensão de documentos longos. Eles mostraram que, embora esses sistemas sejam ferramentas poderosas para o processamento de informações, eles ainda carecem da compreensão profunda e consistente necessária para realmente "ler" e compreender relatórios complexos e extensos em diferentes idiomas. Este trabalho estabelece um novo padrão para pesquisas futuras, orientando desenvolvedores a construir modelos que possam olhar além das pistas superficiais e manter uma compreensão fiel e precisa de toda a história, não importa quão longa ela seja.