compar:IA: The French Government's LLM arena to collect French-language human prompts and preference data

기술 요약: compar:IA: 프랑스 정부의 LLM 아레나

문제 정의
대규모 언어 모델(LLM)은 비영어권 언어에서 성능 저하, 문화적 부조화, 그리고 약화된 안전성 견고성을 보입니다. 이러한 불균형은 사전 학습 코퍼스와 인간 선호도 정렬 데이터셋 모두에서 영어의 지배적인 영향력에서 기인합니다. 인간 피드백 기반 강화 학습(RLHF) 및 직접 선호 최적화(DPO)와 같은 기술은 인간의 선호도 데이터에 크게 의존하지만, 이러한 데이터셋은 영어 이외의 언어에 대해서는 매우 희소하며, 주로 독점적이고 비공개 상태로 남아 있습니다. 기존의 공개 "아레나" 플랫폼(예: LMSYS Chatbot Arena)은 영어에 과도하게 집중되어 있어, 소외된 언어를 위한 모델을 훈련하고 평가하는 데 한계가 있습니다.

방법론 및 플랫폼 설계
이러한 격차를 해소하기 위해, 저자들은 프랑스 정부(문화부와 DINUM의 공동 개발) 내에서 개발된 오픈 소스 디지털 공공 서비스인 compar:IA를 소개합니다. 이 플랫폼은 주로 프랑스어 사용자를 대상으로 대규모 인간 선호도 데이터를 수집하기 위해 설계된 블라인드 쌍체 비교(pairwise comparison) 아레나 역할을 합니다.

• 상호작 작용 흐름: 사용자는 자유 형식의 제약 없는 프롬프트를 입력합니다. 두 모델은 정체를 드러내지 않은 채 나란히 응답을 생성합니다. 사용자는 다회차 대화(multi-turn conversations)에 참여할 수 있으며, 두 가지 수준의 피드백을 제공할 수 있습니다: 개별 메시지에 대한 세밀한 반응(reactions)과 전체 대화 수준의 투표(votes)입니다. 제출 후에는 모델의 정체와 Ecologits 라이브러리를 통한 예상 환경 영향력을 포함한 메타데이터가 공개됩니다.
• 설계 원칙: 플랫폼은 낮은 마찰과 접근성을 우선시합니다. 계정 생성이 필요하지 않아 메타데이터 수집을 최소화하고 비전문가 사용자의 진입 장벽을 낮췄습니다. 인터페이스는 학생 및 교육 기관을 포함한 일반 대중의 참여를 독려하기 위해 기술적 전문 용어를 피합니다.
• 인프라: 초기에는 Gradio를 사용하여 LMSYS Chatbot Arena 코드베이스를 기반으로 구축되었으나, 안정성과 성능을 위해 FastAPI 백엔드와 SvelteKit 프런트엔드로 리팩토링되었습니다. 추론은 OpenRouter 및 Hugging Face Inference Providers와 같은 제공업체를 사용하는 자체 자금 조달 모델을 통해 관리되며, 이를 통해 임시적인 크레딧 할당으로부터 독립성을 확보했습니다.
• 데이터 프라이버시 및 필터링: GDPR 및 국가 규정을 준-수하기 위해, 플랫폼은 보수적인 사후 수집 필터링 파이프라인을 운용합니다. LLM 기반 탐지기가 대화를 스캔하여 개인 정보나 민감한 정보를 찾아냅니다. 정보가 감지되면 해당 대화 전체와 관련된 투표 및 반응이 모두 제외됩니다. 의미적 왜곡이나 잔여 식별 위험을 피하기 위해 스팬(span) 단위의 익명화는 수행하지 않습니다. 약 5%의 대화가 필터링됩니다.

주요 기여 및 결과
2026년 2월 7일 기준으로, compar:IA는 600,000개 이상의 자유 형식 프로프트와 250,000개의 선호도 투표를 수집하였으며, 데이터의 약 89%가 프랑스어로 구성되어 있습니다. 플랫폼은 2024년 10월 공개 출시 이후 300,000명 이상의 고유 방문자를 유치했습니다.

저자들은 Etalab 2.0 오픈 라이선스 하에 세 가지 상호 보완적인 데이터셋을 공개합니다:

1. comparia-conversations: 다회차 프롬프트 및 모델 응답.
2. comparia-votes: 대화 수준의 쌍체 선호도 주석.
3. comparia-reactions: 메시지 수준의 피드백 신호.

주요 발견 및 분석:

• 사용 패턴: 분석 결과, 프랑스 사용자들은 주로 학습, 조언 구하기, 콘텐츠 생성, 정보 검색을 위해 AI를 활용하는 것으로 나타났습니다. 상호작용은 완전한 자동화보다는 주로 "증강적(augmentative)"(인간의 노력을 보조하는 형태)입니다.
• 주제 분포: 기술 및 교육 관련 프롬프트가 지배적이며(합계 약 32%), 그 뒤를 비즈니스, 사회, 정치가 잇고 있습니다.
• 모델 리더보드: 집계된 쌍체 선호도를 바탕으로 모델을 순위 매기기 위해 Bradley–Terry 모델을 활용한 프랑스어 모델 리더보드가 공개되었습니다. 이는 확정적인 벤치마크라기보다 교육적이고 탐색적인 도구로서 기능합니다.
• 데이터셋 재사용: 초기 조사 데이터에 따르면 학계(68%)와 민간 기업(20%)의 높은 관심을 보이고 있으며, 주로 모델 훈련, 연구 및 평가를 목적으로 합니다.

의의 및 주장
본 논문은 compar:IA를 대화형 AI를 위한 제한된 영어 외 선호도 데이터 풀에 대한 중요한 기여로 자리매김합니다. 주요 의의는 다음과 같습니다:

1. 확장 가능한 대중 참여: 인터페이스가 접근 가능하고 참여 마찰이 최소화될 때, 전문가 주석가에 의존하지 않고도 일반 대중을 통해 대규모 인간 평가를 성공적으로 수행할 수 있음을 입증했습니다.
2. 공공 인프라: 공공 기관이 참여, 투명성, 프라이버시의 균형을 맞추면서 상업적 인센티브 외부에서 운영되는 오픈 AI 평가 인프라를 효과적으로 구축하고 운영할 수 있음을 보여줍니다.
3. 재현 가능성: 플랫폼은 언어 특화된 인간 중심 평가를 위한 재현 가능한 모델을 제공합니다. 기본 아키텍처는 언어에 구애받지 않으며, 현재 다국어 모델 훈련 및 평가를 위한 디지털 공통 영역을 만들기 위해 다른 유럽 언어(덴마크어부터 시작)로 확장 중입니다.

한론
저자들은 다음과 같은 몇 가지 한계를 명시적으로 인정합니다:

• 사용자 대표성: 사회 인구 통계적 데이터의 부재로 인해 인구 불균형에 대한 가중치 부여가 불가능하며, 사용자 층이 AI 또는 디지털 도구에 기존 관심이 있는 사람들에게 편향될 수 있습니다.
• 태스크 범위: 공개 출판에 대한 프라이버시 우려로 인해 전문적이고 민감한 사용 사례(예: 법률, 의료)는 과소 대표되어 있습니다.
• 평가 편향: 아레나 형식은 자연스러운 사용보다는 "테스트" 목적의 프롬프트를 유도할 수 있습니다. 또한, 쌍체 비교에서 나타나는 표준적인 편향(예: 장황함, 길이 및 스타일 편향)이 존재하지만, 데이터의 오픈 공개를 통해 연구 커뮤니티가 이러한 효과를 연구하고 완화할 수 있도록 합니다.
• 인프라 가변성: 시스템 프롬프트, 모델 양자화 및 추론 제공업체의 차이는 모델 비교 시 혼란 변수로 작용할 수 있습니다.

결론적으로, compar:IA는 인식 제고 플랫폼이자 데이터 수집 인프라로서, 오픈 AI 생태계를 구축하고 LLM 개발의 언어적 불균형을 해결하는 데 있어 공공 기관의 역할에 대한 실증적 근거를 제공합니다.