compar:IA: The French Government's LLM arena to collect French-language human prompts and preference data

Sintesi Tecnica di compar:IA: L'Arena dei Modelli Linguistici del Governo Francese

Definizione del Problema
I Grandi Modelli Linguistici (LLM) mostrano una riduzione delle prestazioni, un disallineamento culturale e una minore robustezza della sicurezza nelle lingue diverse dall'inglese. Questa disparità deriva dalla dominanza dell'inglese sia nei corpora di pre-addestramento che nei dataset di allineamento delle preferenze umane. Sebbene tecniche come il Reinforcement Learning from Human Feedback (RLHF) e il Direct Preference Optimization (DPO) si affidino pesantemente ai dati sulle preferenze umane, tali dataset rimangono scarsi, ampiamente proprietari e non pubblici per le lingue diverse dall'inglese. Le piattaforme "arena" pubbliche esistenti per la raccolta di dati sulle preferenze (ad esempio, LMSYS Chatbot Arena) sono fortemente concentrate sull'inglese, limitando la capacità di addestrare e valutare modelli per lingue sottorappresentate.

Metodologia e Design della Piattaforma
Per affrontare questo divario, gli autori introducono compar:IA, un servizio pubblico digitale open-source sviluppato all'interno del governo francese (congiuntamente dal Ministero della Cultura e da DINUM). La piattaforma funziona come un'arena di confronto a coppie cieco, progettata per raccogliere dati sulle preferenze umane su larga scala da un pubblico prevalentemente francofono.

• Flusso di Interazione: Gli utenti inseriscono prompt a testo libero e non vincolati. Due modelli generano risposte affiancate senza rivelarne l'identità. Gli utenti possono impegnarsi in conversazioni multi-turno e fornire feedback a due livelli: reazioni granulari ai singoli messaggi e voti complessivi a livello di conversazione. Dopo l'invio, l'identità dei modelli e i metadati (inclusi l'impatto ambientale stimato tramite la libreria Ecologits) vengono rivelati.
• Principi di Design: La piattaforma privilegia la bassa frizione e l'accessibilità. Non è richiesta la creazione di un account, minimizzando la raccolta di metadati e abbassando le barriere per gli utenti non esperti. L'interfaccia evita il gergo tecnico per incoraggiare la partecipazione del grande pubblico, inclusi studenti e istituzioni educative.
• Infrastruttura: Inizialmente costruita sulla codebase di LMSYS Chatbot Arena utilizzando Gradio, il sistema è stato rifattorizzato con un backend FastAPI e un frontend SvelteKit per garantire stabilità e prestazioni. L'inferenza è gestita tramite un modello autofinanziato utilizzando provider come OpenRouter e Hugging Face Inference Providers, garantendo l'indipendenza dalle allocazioni di crediti ad hoc.
• Privacy dei Dati e Filtraggio: Per conformarsi al GDPR e alle normative nazionali, la piattaforma impiega una pipeline di filtraggio conservativa post-raccolta. Un rilevatore basato su LLM scansiona le conversazioni alla ricerca di informazioni personali o sensibili. Se rilevate, l'intera conversazione, insieme ai relativi voti e reazioni, viene esclusa. Non viene eseguita alcuna anonimizzazione a livello di span per evitare distorsioni semantiche o rischi residui di identificabilità. Circa il 5% delle conversazioni viene filtrato.

Contributi Chiave e Risultati
Al 7 febbraio 2026, compar:IA ha raccolto oltre 600.000 prompt a testo libero e 250.000 voti di preferenza, con circa l'89% dei dati in francese. La piattaforma ha attirato oltre 300.000 visitatori unici dal suo lancio pubblico nell'ottobre 2024.

Gli autori rilasciano tre dataset complementari sotto la licenza open Etalab 2.0:

1. comparia-conversations: Prompt multi-turno e risposte dei modelli.
2. comparia-votes: Annotazioni di preferenza a coppie a livello di conversazione.
3. comparia-reactions: Segnali di feedback a livello di messaggio.

Risultati Chiave e Analisi:

• Modelli di Utilizzo: L'analisi indica che gli utenti francesi interagiscono principalmente con l'IA per l'apprendimento, la ricerca di consigli, la creazione di contenuti e il recupero di informazioni. Le interazioni sono prevalentemente "aumentative" (assistere l'effort umano) piuttosto che completamente automatizzate.
• Distribuzione degli Argomenti: I prompt tecnici ed educativi dominano (circa il 32% combinato), seguiti da business, società e politica.
• Classifica dei Modelli (Leaderboard): È stata rilasciata una classifica dei modelli in lingua francese, utilizzando modelli Bradley–Terry per classificare i modelli in base alle preferenze aggregate a coppie. Questo serve come strumento educativo ed esplorativo piuttosto che come benchmark definitivo.
• Riutilizzo dei Dataset: I primi dati di sondaggio suggeriscono un attivo interesse da parte di accademici (68%) e aziende private (20%), principalmente per l'addestramento dei modelli, la ricerca e la valutazione.

Significatività e Rivendicazioni
Il documento posiziona compar:IA come un contributo significativo al limitato pool di dati di preferenza open e non inglesi per l'IA conversazionale. La sua significatività primaria risiede nel dimostrare che:

1. Partecipazione Pubblica Scalabile: La valutazione umana su larga scala può essere condotta con successo con il grande pubblico quando le interfacce sono accessibili e la frizione alla partecipazione è minimizzata, senza fare affidamento su annotatori esperti.
2. Infrastruttura Pubblica: Le istituzioni pubbliche possono costruire e gestire efficacemente infrastrutture di valutazione dell'IA aperte che bilanciano partecipazione, trasparenza e privacy, operando al di fuori degli incentivi commerciali.
3. Replicabilità: La piattaforma offre un modello replicabile per la valutazione centrata sull'uomo e specifica per lingua. L'architettura sottostante è agnostica rispetto alla lingua e il progetto si sta espandendo ad altre lingue europee (partendo dalla Danimarca) per creare un bene comune digitale per l'addestramento e la valutazione di modelli multilingue.

Limitazioni
Gli autori riconoscono esplicitamente diverse limitazioni:

• Rappresentatività dell'Utente: La mancanza di dati sociodemografici impedisce la ponderazione per gli squilibri della popolazione, e la base utenti tende verso coloro che hanno già un interesse per l'IA o gli strumenti digitali.
• Copertura dei Compiti: I casi d'uso professionali e sensibili (ad esempio, legge, sanità) sono sottorappresentati a causa delle preoccupazioni sulla privacy relative alla pubblicazione aperta.
• Bias di Valutazione: Il formato arena può incoraggiare prompt di "test" piuttosto che un uso naturalistico. Inoltre, sono presenti i classici bias del confronto a coppia (ad esempio, verbosità, lunghezza e bias di stile), sebbene il rilascio aperto dei dati permetta alla comunità di ricerca di studiare e mitigare tali effetti.
• Variabilità dell'Infrastruttura: Le differenze nei prompt di sistema, nella quantizzazione dei modelli e nei provider di inferenza possono introdurre fattori di confondimento nella comparabilità dei modelli.

In conclusione, compar:IA funge sia da piattaforma di sensibilizzazione che da infrastruttura di raccolta dati, fornendo prove empiriche del ruolo delle istituzioni pubbliche nella costruzione di ecosistemi IA aperti e nel contrasto allo squilibrio linguistico nello sviluppo degli LLM.