Does Slightly Mean Somewhat? Measuring Vague Intensity Words in LLM Numeric Actions

技術的概要：LLM の数値的行動における曖昧な強度語の測定

問題定義
言語モデル（LLM）がエージェントや自然言語制御システムにますます組み込まれるにつれ、それらは「わずかに増加させる」「劇的に削減する」などの曖昧な人間の指示を、下流の帰結を伴う正確な数値的行動に変換しなければならない。先行研究により、人間は曖昧な表現において順序付けを保持し、LLM は言葉の選び方に敏感であることが確立されているが、制御された環境において、これらの強度修飾語がモデルによって具体的な数値出力にどのようにマッピングされるかについての理解にはギャップがある。具体的には、単一の数値を選択することを強制された際に、モデルが強度語の仮説上の順序構造を保持するかどうか、システム状態（コンテキスト）がこのマッピングにどのように影響を与えるか、そしてモデルが運用上の実現可能性の境界付近でどのように振る舞うかが、十分に測定されていない。

方法論
本研究は、言語から行動への翻訳を分離するために、合成された制約付きリソース配分環境を採用している。

• 実験設定: モデル（Claude Haiku）は、10 の特定の強度語のいずれかを用いてタスク配分を増加させるよう、自然言語の指示を受け取る。決定論的なバックエンドが、モデルの数値ツール呼び出しを測定可能な結果に変換する。
• 語彙スケール: 10 の英語の程度修飾語が、Quirk ら（1985）の分類体系に基づいて仮説上の 6 つの階層を横断するように選択された。これには、弱い減衰語（slightly, marginally）から最大化語（drastically, dramatically）までが含まれる。
• 条件:
  1. コンテキストなし: 指示に現在のシステム状態が含まれていない（例：「[WORD] だけ時間を費やす」）。
  2. コンテキスト条件付き: 指示に開始配分が含まれている（例：「現在の配分は X% です。[WORD] 増加させたい」）。0% から 89% までの 10 の基準値（丸い数値と不規則な値を含む）がテストされた。
  3. 対照群: 正確な数値のプロンプトが、実験装置を検証した。
• パラメータ: 実験は温度 $T=0.0$ と $T=0.7$ で実行され、セルあたり 30 回の実行（合計 6,620 回）が行われた。
• 分析: 本研究は、順序相関のためのスピアマンの $\rho$ や、出力における分散を言葉の選択が説明するか開始配分が説明するかを決定するための効果量（$\varepsilon^2$）を伴うクルスカル・ウォリス検定など、ノンパラメトリック統計を用いている。

主要な結果
実験全体を通じて 3 つの主要なパターンが浮かび上がった。

1. 強度の圧縮: コンテキストなしの条件において、モデルは 10 の異なる強度語をわずか 5 つの異なる中央値出力に圧縮する。4 つの最低階層の語（slightly, marginally, somewhat, mildly）はすべて、分散ゼロの中央値配分 0.50 にマッピングされる。より強い語は、より高い領域（0.60–0.70）に分割される。強い順序相関が存在する（$\rho = 0.845$）ものの、微細な語彙的区別は縮小される。
2. 状態の支配性: コンテキストが提供されると、開始配分が言葉の選択を支配する。基準値によるグループ化は、言葉によるグループ化よりも約 10 倍多くのランクベースの分散を説明する（$\varepsilon^2_{baseline} = 0.782$ 対 $\varepsilon^2_{word} = 0.079$）。システムが容量に近づくにつれ、言葉間の区別はゼロに収束する。75% の基準値において、10 のすべての語が同じ中央値出力を生み出す。
3. 不連続な境界挙動: 実現可能性の限界（89% の開始配分）付近において、モデルは使用された語に依存して 3 つの異なる行動モードを示す。
   • ヘッジ: 弱い語は小幅な調整を行う。
   • 棄権: 強い語（例：considerably, substantially）は、制約を理由に完全に行動を拒否することが多い。
   • プッシュ: 語 drastically はユニークに振る舞い、棄権するのではなく、配分を局所的な天井（0.912）まで押し上げる。
     これらのパターンは温度間でも持続する。$T$ を 0.7 に上げると分布は広がるが、微細な順序区別は回復しない。

主要な貢献

1. 方法論: 言語から行動への翻訳をシステムノイズから分離し、LLM が曖昧な強度語を数値的行動にどのようにマッピングするかを測定するための制御された装置。
2. 圧縮の証拠: モデルが粗い強度領域を保持する一方で、微細な語彙的区別を同一の数値出力に縮小することを文書化したもの。
3. コンテキスト依存性: コンテキスト条件付き設定において、現在のシステム状態が言葉の選択を支配し、曖昧な指示がコンテキスト不変の制御信号として信頼できないことを示す定量的証拠。
4. 境界の発見: 運用限界付近での語依存の棄権と、ヘッジ、行動、棄権というカテゴリ的モードの切り替えの特定。これは言語のみからは見えない行動方針における不連続性を明らかにする。

意義と主張
本論文は、曖昧な指示が LLM 仲介インターフェースにおいて安定したスカラー的行動にマッピングされると仮定すべきではないと提唱している。発見事項は、モデルの運用語彙が表面の言語が示唆するものよりも粗く、強度語の意味は語とシステム状態の結合関数であり、固定値ではないことを示唆している。

本研究は、これらの発見を特定の整合性問題として枠組み立てている。すなわち、モデル仲介インターフェースが操作者の意図した意味論を保持するかどうかである。結果は混合した帰結を示している。広範な強度領域は捕捉されるが、微細な区別は失われ、境界付近での挙動は不連続になる。著者は明示的に、この研究がモデルを人間よりも「劣る」と主張するものではないと注記している。これらの言葉の人間の解釈も曖昧である可能性があるためである。むしろ、本研究は、この分野におけるテストされたモデルの特定の行動パターンを文書化するものである。論文は、これらのパターンがテストされたモデルとドメインに特有のものであり、将来的な作業として人間の基準、モデル間比較、より高密度な実験グリッドの導入を計画していると結論付けている。