compar:IA: The French Government's LLM arena to collect French-language human prompts and preference data
本論文は、大規模言語モデルの学習および評価における非英語圏データセットの不足に対処するため、ブラインド形式のペア比較を通じて大規模なフランス語の人間による選好データを収集する、フランス政府のオープンソースプラットフォームであるcompar:IAを紹介するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能（AI）の世界を、ほとんどが英語で書かれた膨大な図書室だと想像してみてください。もしあなたがフランス語やスペイン語、あるいは他の言語で書かれた本を読もうとすると、物語がぎこちなく感じられたり、登場人物の動きが不自然だったり、あるいはアドバイスが文化的に的外れだったりすることがあります。これは、AIという「学生」たちが、ほとんどの時間を英語の本を勉強することに費やし、他の言語での練習をほとんど行わなかったために起こります。
これを解決するために、フランス政府はcompar:IAという特別な遊び場を作りました。これは、巨大な公共のブラインド・テイスティング（目隠しによる味覚テスト）大会のようなものです。ただし、アイスクリームではなく、AIの回答を「味わう」のです。
仕組みは以下の通りです。分かりやすく分解して説明します。
1. ブラインド・テイスティング（仕組み）
あなたが部屋に入ると、二人の謎のシェフ（AIモデル）があなたの質問に対して料理（回答）を作っているところを想像してください。あなたはまだ、彼らが誰であるかを知りません。
- ステップ 1: あなたが質問をします（例：「クロワッサンの作り方は？」「ジョークを言って」など）。
- ステップ 2: 両方のシェフが回答を作成します。あなたはそれらを並べて読みます。
- ステップ 3: あなたは、より良いと思った方を選びます。
- ステップ 4: あなたが投票した後で初めて、シェフの名前が明かされます。
この「ブラインド（目隠し）」方式が極めて重要です。これにより、名前やブランドを知っているからといって、そのシェフを選んでしまうことを防げます。投票が、純粋に回答の質に基づいていることを保証するのです。
2. なぜこれを作るのか？（問題点）
ほとんどのAIの学習データは、英語の食事ばかりを食べて育ったようなものです。そのため、AIはフランスの文化、スラング、そして安全基準に苦戦します。AIにフランス語を上手く教えるには、何千人ものフランス人が「私はこの回答が好きだが、あちらは嫌いだ」と言う必要があります。
compar:IAが登場する前、これらのデータは大手テック企業の中に隠されていたか、あるいはフランス語話者のために存在していませんでした。compar:IAは、誰もがこのデータを「調理」するのを手伝うことができる公共のキッチンであり、そしてそのレシピ（データ）はすべての人に無料で共有されます。
3. 収穫（収集されたもの）
2024年後半にオープンして以来、このデジタルな遊び場は忙しく活動してきました。2026年初頭の時点で、以下のものが集まりました。
- 実在の人間による60万件以上の質問
- どちらのAIの回答が優れているかを決定する25万件以上の投票
- データの89%がフランス語であり、これは英語のデータが支配的な世界において非常に大きな意味を持ちます。
彼らは単に投票を集めただけではありません。ユーザーに回答の特定の箇所に対する反応も求めたことで、「フランス語話者が実際に何を重視しているのか」という豊かな地図を作り上げました。
4. 誰が使い、なぜ使うのか？
- 一般の人々へ: 様々なAIモデル（有名なものから新しいオープンソースのものまで）とチャットし、それらがどのように考えているかを見るための無料の方法です。また、AIが回答するためにどれだけのエネルギー（電気）を使用しているかも表示されるため、環境について考えるきっかけにもなります。
- 科学者や企業へ: 彼らは独自のAIモデルをフランス語をより上手く話せるように訓練するために、「レシピ本」（データ）をダウンロードすることができます。
- 学校へ: 教師は、AIがどのように機能するかを生徒に示すための教室ツールとして活用できます。生徒たちが、どのAIの回答が最も公平で正確であるかを議論する場となります。
5. ゲームのルール（プライバシーと安全性）
作成者たちはプライバシーに対して非常に慎重でした。
- サインアップ不要: 遊ぶために名前やメールアドレスを登録する必要はありません。これにより参加のハードルは下がりますが、同時に事後の管理には細心の注意が必要です。
- フィルター: 公開されるデータに対し、スマートなコンピュータがすべての会話をスキャンします。もし実在の人物の名前、住所、またはプライベートな情報を見つけた場合、その会話全体をゴミ箱に捨てます。いくつかのデータポイントを失う方が、誰かの秘密を誤って漏洩させるよりもマシだからです。
- オープンソース: データはフランス政府のライセンスの下で公開されています。つまり、ルールを遵守している限り、研究や新しいツールの構築のために誰でも使用できます。
6. スコアボード
プラットフォームにはリーダーボード（ランキングリスト）もあります。これは、フランス人が最も好むAIモデルを示すスポーツのスコアボードのようなものです。ただし、作成者は、これが「知能」の完璧なテストではないと警告しています。それは単に、カジュアルな設定で人々が何を「好んだか」を示すものです。最終試験というよりは、人気投票に近いものです。
7. 未来
フランスのチームは、これをプロトタイプ（試作）と考えています。彼らはすでに、この「味覚テスト」を他の言語（まずはデンマーク語から）へと拡大し、他の国々が独自の「公共のデータの庭」を築けるようにするための準備を進めています。
要約すると: compar:IAは、フランス語の好みをクラウドソーシングすることで、AIがフランス人のように話し、考え、振る舞えるように教えるための公共サービスです。そしてそのプロセスは、すべての人にとってオープンで、プライベートで、自由なものとなっています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。