Knowing the Scale, Missing the Negation: Language Models and Corrective Negation by Excess in English, Spanish, and French

言語モデルは、テキストを生成し、言語を翻訳し、驚くほど流暢に質問に答えることができる、今日私たちが使用する多くのデジタルツールの背後にあるエンジンです。これらのシステムがどのように機能しているかを理解するために、研究者たちはしばしば、強さを表す形容詞のような、人間のコミュニケーションの構成要素をモデルがどのように扱うかに注目します。「暖かい」「熱い」「沸騰している」といった言葉は、熱が増していくスケール上に存在しており、人間は、もし何かが「沸騰している」のであれば、それは少なくとも「暖かい」状態でもあるということを自然に理解しています。この論理的なつながりは「含意（エンタイルメント）」と呼ばれます。しかし、人間の言語には、弱い言葉を否定する際、それが反対であることを意味するのではなく、より強い言葉こそが適切であると伝えるための、ひねりのある表現が満ちています。例えば、誰かがスープが「単に温かいのではなく、沸騰している」と言ったとき、その人はスープに熱がないと言っているのではなく、「温かい」という表現が控えめすぎるとしてそれを拒絶しているのです。このように、話し手が弱い記述をより強いものへと入れ替える特定の種類の修正は、機械が単にパターンを一致させているだけなのか、それとも言葉の関係性を真に理解しているのかを測る微妙なテストとなります。

研究チームは、現代の言語モデルがこのトリッキーな言語的領域をナビゲートできるかどうかを確かめるべく、調査を行いました。彼らは、「過剰による訂正的否定（corrective negation by excess）」として知られる現象、つまり、ある文がより強い言葉を肯定するために、より弱い形容詞を否定する現象に焦点を当てました。チームは、英語、スペイン語、フランス語から、「暗い（dim）」と「真っ暗な（dark）」や、「良い（good）」と「優れた（excellent）」のように、強さの順序で並んだ数百組の形容詞ペアを集めました。そして、5つの異なる言語モデルに対し、さまざまな条件下でこれらのペアを判定させました。まず、モデルが「真っ暗な」は「暗い」よりも強いバージョンであることを認識し、言葉の順序を理解していることを確認しました。次に、もし何かが「真っ暗」であれば、それは少なくとも「暗い」状態であるという基本論理をモデルが理解しているかをテストしました。最後に、彼らは「それは暗いのではなく、真っ暗だ」といった訂正を含む文章を提示し、その対象は依然として少なくとも「暗い」状態であるかどうかを尋ねました。

結果は、モデルが持つ知識と、その知識の適用方法との間に顕著なギャップがあることを明らかにしました。モデルが言葉の順序を正しく特定し、「真っ暗」が「暗い」を包含するという基本的な論理を受け入れたユニットにおいて、彼らは肯定的な文については93.4%の割合で理解に成功していました。また、単純な否定の質問には99.2%という高い精度で回答していましたが、この高い正確性は誤解を招くものです。なぜなら、モデルは全体として「いいえ」と答える傾向があり（「はい」の割合は34%から44%の範囲）、これが「いいえ」が正解となる質問におけるパフォーマンスを人工的に押し上げていたからです。しかし、「それは暗いのではなく、真っ暗だ」という訂正の文章に直面すると、彼らのパフォーマンスは急激に低下しました。以前に言葉の関係性を理解していたはずの同じセットの項目において、彼らは452例で修正を認識できず、成功したのはわずか6例でした。スープは依然として「温かい（ただより熱い）」ものであるという理解の代わりに、モデルはしばしばその文を単純な否定として扱い、対象は全く「温かくない」と結論付けてしまいました。

この失敗は、言葉自体の知識の欠如によるものではありませんでした。研究者が、同じ単語を用いた同様の構成、例えば「それは暗いのではなく、非常に暗い（It is not dim but very dim）」というケースをテストしたところ、モデルは94.4%という高い精度で正解を得ました。これは、単語が同一である場合にはモデルが文章の構造を扱えることを示唆していますが、訂正の枠組みの中で二つの異なる単語を関連付けなければならない場合に躓いてしまうことを示しています。このエラーパターンは、テストされた5つのモデルすべて、および3つの言語すべてにおいて一貫していました。多くの場合、モデルは対象が少なくとも弱い方の用語を満たしているかという問いに対して「いいえ」と答え、修正を提供している文章の後半部分を無視していました。これは、モデルが形容詞の順位付けができないのではなく、より強い代替案が導入された際に、否定の文字通りの意味を覆すことに苦労していることを示しています。

研究では、修正をより明示的にすることが助けになるかどうかについても調査されました。英語において、研究者は標準的な「not X but Y」と、「rather」という言葉を加えた「not X but rather Y」というバージョンを比較しました。この小さな変更は、修正であることをより明確に合図するものですが、これによりモデルの精度は36.1%から49.3%へと向上しました。これは改善ではありましたが、完全な解決策ではなく、モデルは依然として半分以上のケースで意味を取りこぼしていました。研究者は、特定の接続詞が修正のために使われるスペイン語において、モデルは英語やフランス語よりもわずかに高いパフォーマンスを示したものの、根本的な困難は残っていると指摘しました。データは、これらのシステムが単語同士の関係に関する生の知識を備えているものの、文章の構造が弱い記述を拒絶して強いものを肯定することを要求する場合に、その知識を適用することに失敗することが多いことを示唆しています。

この発見の含意は、学術的な好奇心にとどまりません。言語モデルは、レビューの要約、フィードバックの分析、顧客からの苦情処理などにますます活用されています。もしモデルが、「製品は良い（good）のではなく、卓越している（outstanding）」というレビューを読んだ場合、訂正の性質を理解できずに、強い称賛を否定的な発言と誤解する可能性があります。研究者たちは、現在のこれらのシステムの評価には、この特定の種類の言語的挑戦を含める必要があると結論付けています。モデルが「卓越している」が「良い」よりも強いことを知っているかどうかを確認するだけでは不十分です。モデルは、文章が弱い用語を否定して強いものを肯定するときに、その知識を適用できるかどうかについてもテストされなければなりません。モデルがこれらの修正を確実にナビゲートできるようになるまで、彼らは人間のコミュニケーションのトーンや意図を読み違え、高い称賛を批判へと変え、言語を強力なものにしているニュアンスを見落とし続けるリスクがあります。