Evaluating Large Language Models for Diacritic Restoration in Romanian Texts: A Comparative Study

ある山のようなルーマニア語のテキストメッセージがあると想像してください。しかし、誰かが誤って、文字からすべての特殊な「アクセント」記号を消し去ってしまいました。ルーマニア語において、これらの記号（ă、î、ș、ț、â など）は、「食べる」という意味と「眠る」という意味、あるいは「村」と「都市」の違いを生むほど重要なものです。記号がない状態のテキストは、まるで通りの名前がすべて消された地図のように、混乱を招き、読みにくいものになります。

この研究は、大きな問いを投げかけました。今日、至る所で見られる超スマートなAIチャットボット（これらは大規模言語モデル、またはLLMと呼ばれます）は、これらの乱れたテキストを修正し、正しい場所にアクセントを戻すことができるのでしょうか？

大いなるアクセント復元レース

研究者たちは、巨大なレーストラックを用意しました。彼らは2,000個のルーマニア語の文章を集め、それらからすべてのアクセントを取り除いて「白紙の状態」にしました。そして、有名なAIモデルのラインナップをスタートラインに招待し、誰が最も上手くアクセントを復元できるかを競わせました。

ラインナップには以下が含まれます：

• 重量級: OpenAIのGPT-3.5、GPT-4、そして最新のGPT-4o。
• Googleの対抗馬: Gemini 1.0 Pro。
• オープンソース・クルー: MetaのLlama 2および3（さまざまなサイズ）、MistralAIのMixtral、その他数種類。
• 「ダミー」のベースライン: 「Echo」と呼ばれるシンプルなトリックを用いたモデル。このモデルは何も修正しようとせず、乱れたテキストをそのまま正確にコピーするだけでした。これは、全員が超えなければならない「努力ゼロ」のスコアです。

勝者と敗者

チャンピオン:
結果は明白でした。OpenAIのGPT-4oが、紛れもなくこのショーのスターでした。テキストを修正する方法を示す3つの例を含む特定の指示（「プロンプト」）を与えられたとき、それは**0.9639の総平均スコア（TAS）**を達成しました。

これを比較対象として捉えると、「Echo」ベースライン（怠惰なコピーヤー）のスコアはわずか0.8100でした。これは、GPT-4oが単に少し良かっただけではなく、ベースラインを19%上回ったことを意味します。実際、最高性能のモデル（GPT-4o）は、ベースラインよりも1.190倍優れていました。それは、料理に完璧に味付けをするマスターシェフのようであり、ベースラインはただ味付けなしで提供しているようなものでした。

驚くべき苦戦:
ここからが面白いところです。より大きく、より有名なオープンソースモデルであればうまくいくと考えるかもしれませんが、論文はその逆を示唆しています。

• MetaのLlama 2 7Bは、完全な失敗でした。これは0.002という極めて低いスコアを記録しました。これはあまりにもひどく、ベースラインの0.002倍のパフォーマンスでした。文字通りゼロではありませんでしたが、事実上使い物にならず、大幅な差をつけてベースラインに敗北しました。
• MetaのLlama 2 70B（より大きなバージョン）は、わずかに改善しましたが、それでもベースラインを超えることはできず、0.146というスコアでした。
• Mixtral 8x7BとRoLlama 2 7Bもベースラインを下回っており、これは、単にエラーをコピーするよりも、彼らの方がテキストの修正において劣っていたことを意味します。

この論文は、**「サイズが常に成功につながるわけではない」**ことを示唆しています。モデルが巨大であったりオープンソースであったりしても、ルーマニア語のトリッキーなルールを扱えるとは限らないのです。

秘密の武器：「プロンプト」

どのようにAIに頼むかが、AI自体と同じくらい重要であるということが、この研究で判明しました。

• 「3-shot」のトリック: 最良の結果は、研究者が作業を依頼する直前に、乱れたテキストと修正されたテキストの例を3つ提示したときに得られました。これは「3-shot」プロンプトと呼ばれます。
• 結果: この手法を使用することで、GPT-4oのスコアは跳ね上がりました。論文は、AIにいくつかの例を与えること（例えば、学生にテストを受ける前にいくつかの解法済みの数学の問題を見せるようなこと）が、単純な命令を与えるよりも、ルールをはるかに理解させる助けになると示唆しています。

どこで間違えたのか？（エラー分析）

勝者であっても間違いは犯しました。研究者たちは、どこで問題が発生したかを詳細に調査しました。

1. â と î の混同: 最も一般的なエラーは、â と î の取り違えでした。ルーマニア語では、â は単語の途中で使われ、î は単語の始まりや終わりで使われます。AIは時として、真ん中に î を置いてしまいました（例えば、român の代わりに romîn と書くなど）。全エラーの約**21.3%**が、この特定の混同によるものでした。
2. 大文字: AIは、文頭にある大文字の単語に苦戦しました。例えば、小文字の ș のアクセントは**98.7%の確率で正解しましたが、大文字の Ș の場合は94.6%**にとどまりました。
3. 過剰な熱意: Mixtralのような一部のモデルは、熱くなりすぎていました。彼らは不要な場所にアクセントを追加してしまいました。論文によれば、Mixtralは10単語の文章につき平均16.35個の余分なアクセントを追加しており、「ハルシネーション（幻覚）」、つまりテキストをより悪化させる「偽のアクセント」を作り出していました。

この論文が否定していること

この論文は、何が機能しないかについて非常に明確です。

• 「どんな」LLMでも優れているという考えを否定しています。 この研究は、いくつかの人気モデル（Llama 2 7Bなど）が、実際には何もしないよりも悪い状態であることを明確に示しています。
• 「大きいことは常に良い」という考えを否定しています。 700億パラメータを持つLlama 2モデルはひどい成績でしたが、より小さく、かつ適切に調整されたGPT-4oは素晴らしい成果を上げました。
• 「単純なコピーが有効な解決策である」という考えを否定しています。 「Echo」ベースラインは、単にエラーをコピーすること（修正を行わないこと）が低い基準であることを示すために使用されました。これは、コピーが効果的な復元戦略ではないことを証明しています。

どの程度確かなのか？

著者たちは、自らの発見について慎重かつ具体的です。彼らは単に推測したのではなく、2つの異なるソース（辞書プロジェクトからのものとウェブクローラーからのもの）からの1,000個のステートメントのデータセットに対してモデルを実行しました。

• 彼らは、最高のモデル（GPT-4o）と最低のモデル（Llama 2 7B）の間の差は、現実的かつ重大なものであると示唆しています。
• 彼らは、「3-shot」プロンプト戦略が成功の鍵であると示唆しています。
• 彼らは、彼らの結果が特定のサブセットのデータ（1993年以降のルーマニア語の規則）に基づいていること、および歴史的なテキストや他の言語についてはテストしていないことを注記しています。

結論

もし、アクセント付きのルーマニア語テキストを修正したいのであれば、単に何でもいいからAIを手に取ってはいけません。この論文は、いくつかの例に従うように指示を与えられた場合、OpenAIのGPT-4oが現在、この仕事において最高のツールであることを示唆しています。しかし、他の多くの人気モデルは、まだ習熟の過程にあり、場合によっては元のテキストよりも乱雑にしてしまう可能性があるのです。

この研究は、AIは強力ではあるものの、ルーマニア語の繊細で美しい細部をマスターするためには、優れた指示や例といった、少しの手助けが必要であることを結論づけています。