La Leaderboard: A Large Language Model Leaderboard for Spanish Varieties and Languages of Spain and Latin America

O artigo apresenta a "La Leaderboard", a primeira plataforma de código aberto e comunitária que avalia modelos de linguagem generativos em diversas variedades do espanhol e línguas da Península Ibérica e da América Latina, estabelecendo um padrão de avaliação que prioriza a diversidade linguística e a sustentabilidade ambiental.

O essencial

Imagine que o mundo da Inteligência Artificial (IA) é como uma grande escola de culinária. Até hoje, os chefes mais famosos (os modelos de IA) eram treinados quase exclusivamente com receitas em inglês. Eles eram excelentes em fazer "hambúrgueres" e "pizza" (tarefas em inglês), mas quando alguém pedia um "feijoada" ou um "bacalhau" (tarefas em português, espanhol, basco, etc.), eles muitas vezes cozinhavam algo estranho, sem sabor ou que não fazia sentido cultural.

O artigo que você leu apresenta o "LA LEADERBOARD", que é como um novo e grande festival gastronômico criado especificamente para celebrar a diversidade da língua espanhola e das línguas da Península Ibérica e da América Latina.

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Problema: O "Menu" era muito limitado

Antes deste projeto, existiam listas de classificação (leaderboards) para testar IAs, mas elas eram como menus de restaurante que só tinham pratos em inglês. Mesmo quando havia pratos em espanhol, muitas vezes eram apenas traduções automáticas de receitas americanas.

• O resultado: A IA podia falar o idioma, mas não entendia a cultura. Ela não sabia que em alguns lugares de Espanha se usa uma palavra e no México outra, ou que o humor e as referências históricas são diferentes. Era como tentar explicar uma piada brasileira traduzindo palavra por palavra para um japonês: a graça se perde.

2. A Solução: O "Festival da Diversidade"

Os autores criaram o LA LEADERBOARD. Pense nele como uma competição de chefs onde o desafio é cozinhar para 66 tipos diferentes de comensais:

• Falantes de espanhol (de vários países: Espanha, México, Argentina, Chile, Uruguai).
• Falantes de Catalão, Basco e Galego (línguas oficiais da Espanha que são muito diferentes do espanhol, como o Basco, que é um "idioma isolado", quase como se fosse de outro planeta).

Eles reuniram 66 "testes de sabor" (conjuntos de dados) criados por especialistas nativos. Não foram apenas traduções de robôs; foram receitas feitas por humanos que conhecem a cultura.

3. A Metodologia: Como eles testaram?

Para não gastar energia demais (o que é ruim para o meio ambiente) e para ser justo, eles mudaram a forma de testar:

• Menos "Dicas" (Few-Shot): Antigamente, para testar uma IA, mostrávamos 5 exemplos de como fazer a tarefa antes de pedir a resposta. Eles descobriram que, para línguas como o Basco ou o Galego, dar muitas dicas pode confundir a IA ou viciar o teste. Então, eles usaram menos exemplos, como se dissessem ao chef: "Aqui está o prato, tente fazer sozinho, sem ler o livro de receitas antes". Isso torna o teste mais honesto e rápido.
• Transparência: Tudo é aberto. Qualquer pessoa pode ver como os testes foram feitos, quais modelos participaram e quem ganhou. É como ter a receita do prato exposta na vitrine do restaurante.

4. Os Resultados: Quem cozinhou melhor?

Eles testaram 50 modelos de IA diferentes. Os resultados foram reveladores:

• Os Gigantes: Modelos gigantes como o Gemma-2 e o Llama-3 (criados por grandes empresas de tecnologia) ainda são muito fortes, como chefs com equipamentos de última geração.
• Os Especialistas: Modelos menores, mas feitos especificamente para a Europa e para línguas locais (como o Salamandra e o EuroLLM), mostraram que, às vezes, um chef que conhece a região e usa ingredientes locais faz um prato melhor do que um chef famoso que usa ingredientes genéricos.
• O Custo: Eles também mediram quanto "gás" (energia elétrica) cada modelo gastou para cozinhar. Descobriram que modelos maiores gastam muito mais energia, gerando mais "fumaça" (CO2).

5. O Futuro: A Cozinha está se abrindo

O projeto não parou por aí. Eles querem:

• Incluir línguas indígenas da América Latina (como Guarani e Nahuatl), que são como "ervas raras" que ainda não foram cultivadas na cozinha da IA.
• Criar mais testes para ver se a IA entende a cultura local, e não apenas a gramática.
• Convidar mais pessoas para ajudar a criar essa lista, transformando-a em um projeto comunitário.

Resumo Final

O LA LEADERBOARD é como um espelho que a comunidade de língua espanhola finalmente colocou na frente da Inteligência Artificial. Ele diz: "Não queremos apenas que você fale nosso idioma; queremos que você entenda nossa cultura, nossas piadas, nossas leis e nossa história."

É um passo gigante para garantir que, no futuro, quando você pedir ajuda a uma IA em espanhol, basco ou catalão, ela não soe como um robô traduzindo do inglês, mas sim como um vizinho que realmente entende de quem você está falando.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "La Leaderboard: A Large Language Model Leaderboard for Spanish Varieties and Languages of Spain and Latin America", apresentado em português.

1. Problema e Motivação

O artigo identifica uma lacuna crítica na avaliação de Modelos de Linguagem Grandes (LLMs) multilíngues. Embora existam leaderboards (placas de classificação) estabelecidos para o inglês e um conjunto limitado de idiomas de alto recurso, a comunidade de língua espanhola carece de uma avaliação padronizada, aberta e culturalmente relevante.

Os principais problemas abordados são:

• Falta de Representatividade: A maioria dos benchmarks existentes foca no inglês ou utiliza traduções automáticas de testes em inglês para o espanhol, falhando em capturar nuances linguísticas, dialetos regionais e contextos culturais específicos da Espanha e da América Latina.
• Diversidade Linguística Ignorada: O espanhol coexiste com outras línguas oficiais na Espanha (Catalão, Basco, Galego) e é influenciado por centenas de línguas indígenas na América Latina. Não há leaderboards que avaliem conjuntamente essas variedades.
• Acesso e Reprodutibilidade: Muitas avaliações existentes são privadas ou não permitem a reprodutibilidade local dos resultados, limitando o progresso de pesquisadores com recursos computacionais limitados.
• Impacto Ambiental: A literatura atual frequentemente utiliza muitos exemplos few-shot (poucos exemplos) sem justificativa clara, aumentando o custo computacional e ambiental desnecessariamente.

2. Metodologia

O projeto LA LEADERBOARD é uma iniciativa comunitária e de código aberto que visa estabelecer um padrão de avaliação para LLMs generativos.

Coleta de Dados e Datasets

• Escala: O leaderboard integra 66 conjuntos de dados (datasets) cobrindo quatro idiomas: Espanhol (com variedades da Espanha, México, Argentina, Chile e Uruguai), Catalão, Basco e Galego.
• Origem: 55% dos datasets foram criados originalmente nos idiomas-alvo. 38% são traduções humanas de benchmarks em inglês, e apenas 7% são revisões de traduções automáticas.
• Contribuição Comunitária: Os dados foram doados por 13 grupos de pesquisa. Sete datasets foram criados especificamente para este projeto (ex: AQuAS, ClinTreatES, SpaLawEx).
• Domínios: Os dados cobrem tarefas diversas, incluindo raciocínio comum, ética, aceitabilidade linguística, matemática, inferência natural (NLI), paráfrase, perguntas e respostas (QA), compreensão de leitura, sumarização e classificação de texto.

Configuração de Avaliação

• Métricas: Para tarefas de múltipla escolha (MCQA), utiliza-se a probabilidade logarítmica (LOGPROBS). Para geração de texto, utilizam-se métricas como BLEU, ROUGE, Similaridade de Resposta Semântica (SAS) e um Judge baseado em LLM.
• Eficiência (Few-Shot): O projeto adota uma abordagem racional para o número de exemplos few-shot, variando de 0 a 5 exemplos dependendo da complexidade da tarefa e do tamanho da janela de contexto do modelo. Isso visa reduzir o impacto ambiental e facilitar a reprodutibilidade, evitando o uso excessivo de tokens.
• Normalização: Os resultados são normalizados para permitir comparações justas entre modelos com diferentes capacidades de janelas de contexto e formatos de prompt.

Infraestrutura

• A avaliação foi realizada em 2 GPUs NVIDIA H100 no supercomputador MareNostrum 5.
• O frontend é construído sobre o template do Hugging Face usando Gradio, permitindo submissão aberta de modelos pela comunidade.
• Licenciamento: Apache 2.0, garantindo acesso aberto.

3. Principais Contribuições

1. Primeiro Leaderboard Aberto para o Espanhol: Apresentação da primeira plataforma de código aberto para avaliar LLMs generativos nas línguas e variedades da Espanha e da América Latina.
2. Metodologia Comunitária Escalável: Definição de um processo para coleta de dados e criação de leaderboards que pode ser replicado por outras comunidades linguísticas.
3. Abordagem Eficiente de Recursos: Proposta de uma configuração de few-shot otimizada que equilibra precisão, viés cognitivo e impacto ambiental.
4. Análise Abrangente de SOTA: Avaliação de 50 modelos (incluindo famílias como Llama, Gemma, Qwen, Salamandra, EuroLLM), fornecendo insights sobre seus pontos fortes e fracos em contextos específicos.

4. Resultados e Análise

A avaliação de 50 modelos (de 1B a 32B parâmetros) revelou os seguintes pontos-chave:

• Modelos de Desempenho Geral: Os modelos que consistentemente alcançaram o top 10 foram Gemma-2-9B (base e instruído), Meta-Llama-3.1-8B-IT e versões quantizadas do Qwen2.5 (14B e 32B).
• Desempenho por Idioma:
  • Espanhol: Modelos como Gemma-2 e Llama-3.1 lideram.
  • Catalão e Galego: Modelos europeus como EuroLLM-9B e Salamandra-7B mostram desempenho competitivo, especialmente em tarefas de raciocínio e QA.
  • Basco: O modelo Salamandra-7B-IT destaca-se significativamente, ocupando posições de topo em QA e raciocínio.
• Impacto do Treinamento:
  • Modelos pré-treinados do zero em grandes corpora multilíngues (como Qwen e Llama) oferecem cobertura mais homogênea.
  • Estratégias de continual pre-training (adicionando dados de um novo idioma ao corpus existente) mostram-se eficazes para atingir picos de desempenho em idiomas específicos (ex: Latxa em Basco).
  • Fine-tuning apenas em dados de instrução sem pré-treinamento extensivo melhora a fluência, mas tem impacto modesto em raciocínio e QA.
• Eficiência Energética:
  • Houve uma correlação forte entre o tamanho do modelo e o consumo de energia.
  • Modelos instruídos (instruct) geralmente consumiram menos energia que suas versões base devido à menor verbosidade na geração.
  • O consumo total para avaliar 50 modelos em 66 tarefas foi de 92,09 kg de CO2.

5. Significado e Conclusão

O LA LEADERBOARD estabelece um novo padrão para a avaliação de LLMs multilíngues, focando não apenas na competência linguística, mas também na adequação cultural.

• Inclusão: Ao incluir línguas co-oficiais da Espanha e variedades do espanhol, o projeto combate a marginalização de comunidades linguísticas menores no desenvolvimento de IA.
• Transparência e Reprodutibilidade: Ao ser totalmente aberto, permite que pesquisadores de todo o mundo comparem e melhorem seus modelos sem barreiras de acesso.
• Sustentabilidade: A metodologia proposta demonstra como é possível realizar avaliações rigorosas com menor impacto ambiental através de configurações de few-shot otimizadas.
• Futuro: O projeto planeja expandir-se para incluir línguas indígenas da América Latina, modelos proprietários e realizar um hackathon para medir a adequação cultural específica por país.

Em suma, o trabalho fornece a infraestrutura e a metodologia necessárias para desenvolver sistemas de IA que sirvam verdadeiramente à diversidade da comunidade de língua espanhola, promovendo uma IA mais justa, culturalmente consciente e tecnicamente robusta.