Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation
本論文は、機械翻訳における大規模言語モデルからのトークンごとの信頼度を抽出するための5つの言語化手法を導入および評価し、それらの手法は内部信号との相関はほとんど示さないものの、エラー検出およびキャリブレーションにおいてはそれらと同等の性能を発揮することを見出した。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
非常に賢い、多言語対応のロボット翻訳機を想像してみてください。あなたはある文章の翻訳を頼み、ロボットは即座にそれを実行しました。しかし、それが正しいかどうか、どうすれば分かるでしょうか？ロボットは、自分がミスをしたかどうかを「知って」いるのでしょうか？
この論文は、次のような特定の問いを調査しています：「ロボットに対して、『この特定の単語について、どの程度自信がありますか？』と尋ねたとき、その答えを信頼できるか？」
研究者たちは、ロボットの「信頼度」を得るための2つの方法を比較しました：
- 「内部的」な方法： ロボットの秘密の数学（内部確率）を覗き見ること。これは、ロボットが単語を選ぶ前に、どれだけの選択肢を検討していたかを確認するようなものです。
- 「言語化された」方法： 単にロボットに、「0から1のスケールで、この単語にどの程度自信がありますか？」と尋ね、ロボットにその答えをタイピングさせること。
以下に、簡単な比喩を用いた研究結果の解説をまとめます。
1. 「脳を覗き見ること」の問題点
通常、翻訳が良いかどうかを知りたいとき、私たちはロボットの内部的な数学を確認します。もしロボットが選んだ単語に対して99%の確信を持っているなら、それは正しいと仮定します。
しかし、この論文は、**「表面形式の競合（Surface Form Competition）」**と呼ばれる、この手法の欠陥を指摘しています。
- 比喩： あなたが "The cat sat on the mat." を翻訳しているとしましょう。代わりに "The feline sat on the rug." と言うこともできます。どちらも完璧な翻訳です。
- 問題点： もしロボットが "cat" と "feline" の間で迷っていたら、内部の数学では "cat" に対して50%の確信しかないと表示されるかもしれません。なぜなら、"feline" という選択肢も考えているからです。しかし、"cat" は実は正しい翻訳なのです！
- 結果： ロボットの内部的な数学は「確信がない」と示していますが、出力された内容は実際には完璧です。内部の信号は、正しさではなく「選択肢間の混乱」を測定しているため、誤解を招くものとなっています。
2. 新しいアイデア：ただ尋ねる
ロボットは言葉を話せるので、研究者たちは別の方法、すなわち**「言語化された信頼度（Verbalized Confidence）」**を試みました。数学を覗き見る代わりに、ロボットに「私はこの単語に90%の自信があります」と言わせるように促したのです。
彼らは5つの異なる尋ね方をテストしました：
- リスト形式： 「文章のどの部分が間違っているか教えてください。」
- 単語番号： 「すべての単語に0から1のスコアを付けてください。」
- 単語ラベル： 「すべての単語に『非常に確信している』や『自信がない』といったラベルを付けてください。」
- トークン番号/単語： 単語全体ではなく、単語のさらに小さな断片（トークン）に対して同様のことを行う。
3. 大きな驚き：両者は一致しない
研究者たちは、もしロボットの内部的な数学が「確信がない」と示しており、さらに「あなたは確信がないのですか？」と尋ねれば、ロボットは「はい」と答えるだろうと考えていました。
彼らは間違っていました。
- 比喩： それは、複雑なレーダーデータ（内部）を見て、気象予報士が「降水確率は50%です」と言っているのに、あなたが直接「雨は降ると思いますか？」と尋ねると、その人が「90%の確率で降らないと思います」と答えるようなものです。
- 発見： ロボットの内部的な数学と、ロボットが口に出した言葉の間には、ほとんど相関関係がありませんでした。 これらは本質的に別々の戦略であり、互いにうまく連携できていなかったのです。
4. 尋ねることは役に立ったのか？
では、両者が一致しないのであれば、どちらの方が実際の翻訳エラーを見つけるのに優れているのでしょうか？
- 結果： 驚くべきことに、ロボットに尋ねる方法（言語化された方法）は、数学を覗き見る方法（内部的な方法）と同等、あるいは時にはそれ以上にうまく機能しました。
- 注意点： これは、使用するロボットの種類によります。
- あるモデル（Llama3）では、ロボットに「リッカート尺度」（例：「非常に確信している」など）によるスコアを求める方法が最も効果的でした。
- 別のモデル（Aya23）では、内部的な数学（エントロピー）を見る方法が最も効果的でした。
- 現実的な検証： 最善の方法であっても完璧ではありませんでした。ロボットは依然として、自分の間違いを見つける能力については中程度のレベルでした。それは、テストを受けている学生が、どの答えが間違っているかはかなり理解できているものの、それでも気づかないうちにいくつかのミスをしてしまう状態に似ています。
5. なぜこれが重要なのか（論文による考察）
この論文は、ロボットのコードの中を覗いて信頼度スコアを得るための「ハッカー」になる必要はない、と結論付けています。単に尋ねればよいのです。
- アクセシビリティ： ロボットの内部的な「脳」（多くの場合、クローズドソースのモデルでは隠されています）にアクセスする必要はありません。ただチャットができればよいのです。
- 粒度： 研究者たちは、たとえ精密な数値（例えば0.83）を求めたとしても、ロボットは回答を単純なステップ（例えば0.8や0.9）に丸める傾向があり、高精度な計算機というよりは、単純なチェックリストを使用しているように振る舞うことを発見しました。
まとめ
この論文は、大規模言語モデル（LLM）自身の言葉による信頼性を、どの程度信頼できるかをテストしたものです。
- 従来の方法： 数学を見る（内部的）。
- 新しい方法： モデルに尋ねる（言語化された方法）。
- 結論： これらは全く異なるものですが、モデルに尋ねることは、翻訳のエラーを見つける上で、数学を見るのと同等に有効です。 これは、モデルの秘密のコードを見る必要なく、翻訳が悪い可能性が高いかどうかを確認するための、よりシンプルでアクセシブルな方法なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。