compar:IA: The French Government's LLM arena to collect French-language human prompts and preference data

Resumo Técnico de compar:IA: A Arena de LLM do Governo Francês

Problema
Os Grandes Modelos de Linguagem (LLMs) exibem redução de desempenho, desalinhamento cultural e menor robustez de segurança em idiomas que não o inglês. Essa disparidade decorre da dominância do inglês tanto nos corpora de pré-treinamento quanto nos conjuntos de dados de alinhamento de preferência humana. Embora técnicas como o Aprendizado por Reforço com Feedback Humano (RLHF) e a Otimização de Preferência Direta (DPO) dependam fortemente de dados de preferência humana, tais conjuntos de dados permanecem escassos, amplamente proprietários e não públicos para idiomas que não o inglês. As plataformas de "arena" públicas existentes para coleta de dados de preferência (ex: LMSYS Chatbot Arena) são fortemente concentradas no inglês, limitando a capacidade de treinar e avaliar modelos para idiomas sub-representados.

Metodologia e Design da Plataforma
Para abordar essa lacuna, os autores introduzem o compar:IA, um serviço público digital de código aberto desenvolvido no âmbito do governo francês (conjuntamente pelo Ministério da Cultura e pelo DINUM). A plataforma funciona como uma arena de comparação pareada cega, projetada para coletar dados de preferência humana em larga escala de um público predominantemente francófono.

• Fluxo de Interação: Os usuários inserem prompts de forma livre e não restrita. Dois modelos geram respostas lado a lado sem revelar suas identidades. Os usuários podem participar de conversas de múltiplos turnos e fornecer feedback em dois níveis: reações detalhadas a mensagens individuais e votos gerais ao nível da conversa. Após a submissão, as identidades dos modelos e os metadados (incluindo o impacto ambiental estimado via biblioteca Ecologits) são revelados.
• Princípios de Design: A plataforma prioriza a baixa fricção e a acessibilidade. Não é necessária a criação de conta, minimizando a coleta de metadados e reduzindo as barreiras para usuários não especialistas. A interface evita jargões técnicos para incentivar a participação do público em geral, incluindo estudantes e instituições de ensino.
• Infraestrutura: Inicialmente construído sobre o código base do LMSYS Chatbot Arena usando Gradio, o sistema foi refatorado para um backend FastAPI com um frontend SvelteKit para maior estabilidade e desempenho. A inferência é gerenciada via um modelo autofinanciado utilizando provedores como OpenRouter e Hugging Face Inference Providers, garantindo independência de alocações de crédito ad-hoc.
• Privacidade de Dados e Filtragem: Para cumprir o GDPR e as regulamentações nacionais, a plataforma emprega um pipeline de filtragem pós-coleta conservador. Um detector baseado em LLM varre as conversas em busca de informações pessoais ou sensíveis. Se detectadas, a conversa inteira, juntamente com seus votos e reações associados, é excluída. Aproximadamente 5% das conversas são filtradas. Nenhuma anonimização ao nível de segmento (span-level) é realizada para evitar distorção semântica ou riscos residuais de identificabilidade.

Principais Contribuições e Resultados
Até 7 de fevereiro de 2026, o compar:IA coletou mais de 600.000 prompts de forma livre e 250.000 votos de preferência, com aproximadamente 89% dos dados em francês. A plataforma atraiu mais de 300.000 visitantes únicos desde seu lançamento público em outubro de 2024.

Os autores liberam três conjuntos de dados complementares sob a licença aberta Etalab 2.0:

1. comparia-conversations: Prompts de múltiplos turnos e respostas de modelos.
2. comparia-votes: Anotações de preferência pareada ao nível da conversa.
3. comparia-reactions: Sinais de feedback ao nível da mensagem.

Principais Descobertas e Análises:

• Padrões de Uso: A análise indica que os usuários franceses engajam-se primariamente com a IA para aprendizagem, busca de conselhos, criação de conteúdo e recuperação de informação. As interações são predominantemente "augmentativas" (auxiliando o esforço humano) em vez de totalmente automatizadoras.
• Distribuição de Tópicos: Prompts técnicos e educacionais dominam (aprox. 32% combinados), seguidos por negócios, sociedade e política.
• Leaderboard de Modelos: Um ranking de modelos em língua francesa foi lançado, utilizando modelos de Bradley–Terry para classificar modelos com base em preferências pareadas agregadas. Isso serve como uma ferramenta educativa e exploratória, em vez de um benchmark definitivo.
• Reuso de Dados: Dados preliminares de pesquisa sugerem interesse ativo de acadêmicos (68%) e empresas privadas (20%), principalmente para treinamento de modelos, pesquisa e avaliação.

Significância e Alegações
O artigo posiciona o compar:IA como uma contribuição significativa para o limitado pool de dados de preferência abertos e não ingleses para IA conversacional. Sua principal significância reside em demonstrar que:

1. Participação Pública Escalável: A avaliação humana em larga escala pode ser conduzida com sucesso com o público em geral quando as interfaces são acessíveis e a fricção de participação é minimizada, sem depender de anotadores especialistas.
2. Infraestrutura Pública: Instituições públicas podem construir e operar efetivamente infraestruturas de avaliação de IA abertas que equilibram participação, transparência e privacidade, operando fora de incentivos comerciais.
3. Replicabilidade: A plataforma oferece um modelo replicável para avaliação centrada no humano e específica de cada idioma. A arquitetura subjacente é agnóstica em relação ao idioma, e o projeto está atualmente se expandindo para outros idiomas europeus (começando pela Dinamarca) para criar um bem comum digital para treinamento e avaliação de modelos multilíngues.

Limitações
Os autores reconhecem explicitamente várias limitações:

• Representatividade do Usuário: A falta de dados sociodemográficos impede o peso para desequilíbrios populacionais, e a base de usuários inclina-se para aqueles com interesse prévio em IA ou ferramentas digitais.
• Cobertura de Tarefas: Casos de uso profissionais e sensíveis (ex: direito, saúde) estão sub-representados devido a preocupações de privacidade quanto à publicação aberta.
• Viés de Avaliação: O formato de arena pode incentivar prompts de "teste" em vez de uso naturalista. Além disso, vieses padrão em comparação pareada (ex: verbosidade, comprimento e vieses de estilo) estão presentes, embora a liberação aberta dos dados permita que a comunidade de pesquisa estude e mitigue esses efeitos.
• Variabilidade de Infraestrutura: Diferenças em prompts de sistema, quantização de modelos e provedores de inferência podem introduzir confusões na comparabilidade dos modelos.

Em conclusão, o compar:IA serve tanto como uma plataforma de conscientização quanto como uma infraestrutura de coleta de dados, fornecendo evidências empíricas para o papel das instituições públicas na construção de ecossistemas de IA abertos e no enfrentamento do desequilíbrio linguístico no desenvolvimento de LLMs.