compar:IA: The French Government's LLM arena to collect French-language human prompts and preference data

Resumen Técnico de compar:IA: El Arena de LLM del Gobierno Francés

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) exhiben un rendimiento reducido, desalineación cultural y una robustez de seguridad más débil en idiomas distintos al inglés. Esta disparidad surge de la dominancia del inglés tanto en los corpus de preentrenamiento como en los conjuntos de datos de alineación de preferencias humanas. Mientras que técnicas como el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) y la Optimización de Preferencia Directa (DPO) dependen fuertemente de datos de preferencia humana, dichos conjuntos de datos siguen siendo escasos, mayoritariamente propietarios y no públicos para idiomas que no sean el inglés. Las plataformas de "arena" públicas existentes para la recolección de datos de preferencia (por ejemplo, LMSYS Chatbot Arena) están fuertemente concentradas en el inglés, lo que limita la capacidad de entrenar y evaluar modelos para lenguas subrepresentadas.

Metodología y Diseño de la Plataforma
Para abordar esta brecha, los autores presentan compar:IA, un servicio público digital de código abierto desarrollado dentro del gobierno francés (conjuntamente por el Ministerio de Cultura y DINUM). La plataforma funciona como una arena de comparación por pares ciega diseñada para recolectar datos de preferencia humana a gran escala de una audiencia predominantemente francófona.

• Flujo de Interacción: Los usuarios ingresan prompts de forma libre y sin restricciones. Dos modelos generan respuestas de forma paralela sin revelar sus identidades. Los usuarios pueden participar en conversaciones de múltiples turnos y proporcionar retroalimentación en dos niveles: reacciones detalladas a mensajes individuales y votos generales a nivel de conversación. Tras el envío, se revelan las identidades de los modelos y los metadatos (incluyendo el impacto ambiental estimado a través de la librería Ecologits).
• Principios de Diseño: La plataforma prioriza la baja fricción y la accesibilidad. No se requiere la creación de una cuenta, lo que minimiza la recolección de metadatos y reduce las barreras para usuarios no expertos. La interfaz evita la jerga técnica para fomentar la participación del público general, incluyendo estudiantes e instituciones educativas.
• Infraestructura: Construida inicialmente sobre el código base de LMSYS Chatbot Arena usando Gradio, el sistema fue refactorizado con un backend en FastAPI y un frontend en SvelteKit para mayor estabilidad y rendimiento. La inferencia se gestiona mediante un modelo autofinanciado utilizando proveedores como OpenRouter y Hugging Face Inference Providers, asegurando la independencia de las asignaciones de créditos ad-hoc.
• Privacidad de Datos y Filtrado: Para cumplir con el RGPD y las regulaciones nacionales, la plataforma emplea un proceso de filtrado conservador post-recolección. Un detector basado en LLM escanea las conversaciones en busca de información personal o sensible. Si se detecta, la conversación completa, junto con sus votos y reacciones asociados, es excluida. Aproximadamente el 5% de las conversaciones son filtradas. No se realiza un anonimato a nivel de segmento para evitar la distorsión semántica o riesgos de identificabilidad residual.

Contribuciones Clave y Resultados
Al 7 de febrero de 2026, compar:IA ha recolectado más de 600,000 prompts de forma libre y 250,000 votos de preferencia, con aproximadamente un 89% de los datos en francés. La plataforma ha atraído a más de 300,000 visitantes únicos desde su lanzamiento público en octubre de 2024.

Los autores lanzan tres conjuntos de datos complementarios bajo la licencia abierta Etalab 2.0:

1. comparia-conversations: Prompts de múltiples turnos y respuestas de modelos.
2. comparia-votes: Anotaciones de preferencia por pares a nivel de conversación.
3. comparia-reactions: Señales de retroalimentación a nivel de mensaje.

Hallazgos y Análisis Clave:

• Patrones de Uso: El análisis indica que los usuarios franceses interactúan principalmente con la IA para el aprendizaje, la búsqueda de consejos, la creación de contenido y la recuperación de información. Las interacciones son predominantemente "aumentativas" (asistiendo el esfuerzo humano) en lugar de plenamente automatizadoras.
• Distribución de Temas: Los prompts técnicos y educativos dominan (aprox. 32% combinados), seguidos por negocios, sociedad y política.
• Tabla de Clasificación de Modelos (Leaderboard): Se lanzó una tabla de clasificación de modelos en lengua francesa, utilizando modelos de Bradley–Terry para clasificar los modelos basados en las preferencias por pares agregadas. Esto sirve como una herramienta educativa y exploratoria más que como un benchmark definitivo.
• Reutilización de Datos: Los datos preliminares de la encuesta sugieren un interés activo por parte de académicos (68%) y empresas privadas (20%), principalmente para el entrenamiento, investigación y evaluación de modelos.

Significancia y Reivindicaciones
El artículo posiciona a compar:IA como una contribución significativa al limitado grupo de datos de preferencia abiertos y no ingleses para la IA conversacional. Su principal significancia radica en demostrar que:

1. Participación Pública Escalable: La evaluación humana a gran escala puede llevarse a cabo con éxito con el público general cuando las interfaces son accesibles y se minimiza la fricencia de participación, sin depender de anotadores expertos.
2. Infraestructura Pública: Las instituciones públicas pueden construir y operar eficazmente infraestructura de evaluación de IA abierta que equilibre la participación, la transparencia y la privacidad, operando fuera de los incentivos comerciales.
3. Replicabilidad: La plataforma ofrece un modelo replicable para la evaluación centrada en el lenguaje y el ser humano. La arquitectura subyacente es agnóstica al idioma, y el proyecto se está expandiendo actualmente a otros idiomas europeos (comenzando con Dinamarca) para crear un bien común digital para el entrenamiento y la evaluación de modelos multilingües.

Limitaciones
Los autores reconocen explícitamente varias limitaciones:

• Representatividad del Usuario: La falta de datos sociodemográficos impide el ponderado por desequilibrios poblacionales, y la base de usuarios se inclina hacia aquellos con interés previo en la IA o herramientas digitales.
• Cobertura de Tareas: Los casos de uso profesionales y sensibles (por ejemplo, derecho, salud) están subrepresentados debido a las preocupaciones de privacidad respecto a la publicación abierta.
• Sesgo de Evaluación: El formato de la arena puede fomentar prompts de "prueba" en lugar de un uso naturalista. Además, están presentes los sesgos estándar en la comparación por pares (por ejemplo, sesgos de verbosidad, longitud y estilo), aunque la liberación abierta de los datos permite a la comunidad de investigación estudiar y mitigar estos efectos.
• Variabilidad de la Infraestructura: Las diferencias en los prompts de sistema, la cuantización de los modelos y los proveedores de inferencia pueden introducir variables de confusión en la comparabilidad de los modelos.

En conclusión, compar:IA sirve tanto como una plataforma de sensibilización como una infraestructura de recolección de datos, proporcionando evidencia empírica para el papel de las instituciones públicas en la construcción de ecosistemas de IA abiertos y en el abordaje del desequilibrio lingüístico en el desarrollo de los LLM.