Self-Preference Is Weak or Absent in Verifiable Instruction-Following Revision: A Four-Model Test Under Genuine Authorship

技術要約：検証可能な指示遂行の修正における自己選好性は弱い、または存在しない

問題提起
大規模言語モデル（LLM）には、自身が作成したテキストを判定者として振る舞う際に、それらを好むという「自己選好（self-preference）」バイアスが記録されている。このバイアスは、品質判定や自己洗練のループにおいて確立されているが、自身の文章に対する「妥当な」修正に対して、モデルが抵抗を示すかどうかは不明である。具体的には、モデルが作成したドラフトに対し、具体的かつ機械的に検証可能な修正が提示されたとき、モデルは中立的なモデルよりもその修正を拒絶する傾向があるのだろうか。この問いに明確に答えることは、2つの混同要因により困難であった。(1) 修正が「妥当」であるかどうかの判断に別のLLMを用いると、調査対象であるバイアスが再導入されてしまう（循環性）。(2) 先行研究の多くは、真のインコンテキストでの著者性ではなく、「これはあなたが書いたものです」と伝えるだけの「ラベルの提示（told labels）」に依存している。

手法
本研究は、IFEvalデータセットとその公式チェッカーに基づく、決定論的で検証可能なフレームワークを用いてこれらの問題に対処する。

• 検証可能な正解（Ground Truth）: ドラフトおよび修正の妥当性は、LLMではなくプログラムによるチェッカーによって決定される。チェッカーは、ドラフトが特定の制約に違反していること、および候補となる編集が他の制約を壊すことなくその違反を修正していることを確認する。
• 実験デザイン: 同一の検証済み良質な修正に対し、2つの意思決定条件を比較する：
  1. 著者（Genuine）: コンテキスト内で実際にドラフトを生成したモデル自身が、編集を受け入れるか拒絶するかを決定する。これにより、ラベルの提示ではなく、真の著者性が確保される。
  2. 新規（Fresh）: 別のモデル（または新しいセッション内の同一モデル）が、ドラフトを「一つのドラフト回答」として中立的に閲覧し、同一の編集について判断を下す。
• 範囲: 本研究は3つのパイロットテストを経て、4つのミドルティア・モデルファミリー（gpt-4o-mini, claude-3.5-haiku, gemini-2.5-flash-lite, llama-3.3-70b-instruct）を用いた、85個の利用可能なドラフトによる実力テスト（P3）へと展開される。
• 指標: 主要な指標は、自己選好ギャップ（$G$）であり、これは著者モデルと新規モデルの拒絶率の差として定義される（$G = r_{author} - r_{fresh}$）。正の$G$は、著者が自身の著作物に対する妥当な修正を受け入れることに消極的であることを示す。

主な結果

• 自己選好性の不在: 85個のドラフトと4つのモデルファミリー全体を通じて、検出可能な自己選好性は見られなかった。統合された自己選好ギャップは $G = -5.1$ パーセントポイント（pp）であり、95%信頼区間は $[-12.9, +2.7]$ であった。この区間にはゼロが含まれており、著者は自身のドラフトに対して検証済みの良質な修正を、同一のドラフトを判定する新規モデルとほぼ同じ割合で拒絶していることを示している。
• ヌルの再現: 小規模なパイロット（P2）では、弱い「自己懐疑（self-skepticism）」のシグナル（著者が自身の著作物に対してやや厳しくなる傾向）が示唆されたが、これは大規模なP3テストでは再現されなかった。実際、P3における点推定値はわずかに負の値であり、著者は自身の著作物に対する修正をむしろわずかに受け入れやすい傾向があった。
• 定性的区別: 拒絶の「率」に有意な差はなかったが、著者による拒絶の「性質」には違いがあった。検証済みの良質な修正を拒絶した39例のうち、97.4%は「チェッカーよりも厳しい（stricter-than-checker）」と分類された（例：修正によって二次的な制約が壊れたことを特定するなどの欠陥検知）。一方で、単なる好み（「元のほうが好きだ」など）に基づくものはわずか2.6%であった。
• モデルの変動性: 拒絶率はモデルファミリーによって変動したが、これは著者自身の性質というよりも、主に比較対象となる「新規（Fresh）」モデルの厳格さに起因していた。著者の拒絶率は、すべてのファミリーにおいて15%前後で密接にクラスター化されていた。

意義と主張
本論文は、自己に関連するバイアスの領域における「クリーンなセル（clean cell）」をマッピングすることを目的としている。品質判定や回答選択のタスクでは自己選好がよく知られているが、本研究は、**「真のインコンテキストでの著者性を伴う、検証可能な指示遂行の修正」**という設定においては、そのバイアスは弱いか、あるいは存在しないことを示している。

著者らは、自らの主張に対して慎重な姿勢を明示している：

• 自己選好が普遍的に「存在しないことが証明された」と主張しているのではなく、サンプルサイズ（$N=85$）を考慮すると、$\sim13$ pp未満の効果は排除できないことを述べている。
• 本研究は、ミドルティア・モデルに限定されている（IFEVALの天井効果を避けるため）、また、低次元で原子的な制約に限定されている（スタイルや議論といった包括的な修正は除外している）。
• 初期のパイロットで見られた「自己懐疑」のシグナルは、大規模なスケールで再現されなかったため、堅牢な知見とはみなされていない。

主要な強固な貢献は、決定論的なチェッカーと真の著者性を組み合わせた決定論的な手法のデザインであり、これにより信頼できるヌル結果（null result）を得ることが可能となった。また、著者が妥当な修正を拒絶する場合、それはエゴや好みによるものではなく、厳格な欠陥検知によるものであるという定性的な観察も得られた。