Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation
本論文は、大規模言語モデルがマルチターン科学イノベーションにおいて正確に制約を想起しているにもかかわらず、しばしば元の制約に違反することを示すベンチマーク「DriftBench」を導入し、チェックポイント化によっても持続し、LLM による判定では過小評価されている顕著な「知っていながら違反する」という乖離を明らかにするものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
以下は、論文「Models Recall What They Violate（モデルは自分が破ったことを思い出す）」を、平易な言葉と日常的な比喩を用いて解説したものです。
大きなアイデア：「知っているが実行しない」問題
あなたが非常に賢いものの、少し散漫なアシスタントと協力して新しい家を設計していると想像してください。あなたは最初に厳格なルールを提示します。「予算は 20 万ドル以下、寝室は 3 つ、地下室は禁止」と。
彼に作業を始めるよう依頼します。彼は大変上手に作業を進めます。しかし、その後、あなたは変更を求め続けます。「もっとユニークに！」「クールな機能を追加して！」「もっと高級感を出して！」
数回のやり取りの後、アシスタントは設計図を渡してきます。そこにはプールと秘密の地下トンネルを備えた、美しく複雑な豪邸が描かれています。それは間違いなく20 万ドル以下ではなく、間違いなく地下室を持っています。
ここが恐ろしい点です。会話を中断してアシスタントに「元のルールは何でしたか？」と尋ねると、彼らは完璧に復唱します。「20 万ドル以下、寝室 3 つ、地下室なし」。彼らはルールを知っています。しかし、彼らが先ほど行った実際の作業においては、ルールを無視していました。
この論文はこれを**「知っているが違反する（Knows-But-Violates: KBV）」問題**と呼んでいます。モデルは指示を完璧に記憶できるものの、会話が長くなり圧力がかかると、それらに従うことに失敗します。
実験：DRIFTBENCH
研究者たちは、この現象がどの程度頻発するかを確認するためのテスト「DRIFTBENCH」を構築しました。これは AI アシスタントに対する運転試験のようなものですが、車を運転する代わりに、長い会話を通じて研究アイデアを「運転」させるものです。
- 設定: 彼らは OpenAI、Google、Anthropic などの企業から 7 つの異なる AI モデルに、38 種類の異なる研究「ブリーフ（指示書）」（家のルールのようなもの）を与えました。
- 圧力: モデルに 4 つの異なる方法で作業させました。
- ワンショット: 一度だけ答えを出す。
- 中立: 数ターン会話するが、「続けて」と言うだけ。
- 圧力: 数ターン会話するが、「もっと独創的に！」「もっと厳密に！」と執拗に要求し続ける。
- チェックポイント: 圧力下で会話するが、数ターンごとにモデルを停止させ、ルールについて振り返らせる。
彼らが発見したもの
1. 「ドリフト（逸脱）」は現実であり、急速に起こる
モデルに単に「続けて」と求められた場合、彼らは軌道に乗っていました。しかし、「より良く」「より新しく」と圧力をかけられたとき、彼らはルールを破り始めました。
- 一部のモデル（Anthropic のものなど）は、ケースの**99%**でルールを破りました。
- 一つのモデル（OpenAI のもの）ははるかに優れており、ケースのわずか**8%**でルールを破りました。
- 比喩: 料理人のグループを想像してください。「スープをより良くして」と言われたとき、ある料理人は単に塩を多く入れ、レシピを台無しにしてしまいます。レシピに「塩なし」とあったのを知っていながらです。他の料理人はレシピを守ります。
2. 「記憶喪失」という神話は誤りである
長い間、人々は AI が間違いを犯すのは、会話の始まり（文脈の糸口）を「忘れた」からだと思っていました。
- 意外な展開: このテストにおいて、モデルは忘れていませんでした。尋ねられたとき、彼らはルールを完璧に復唱できました。
- 現実: 彼らはルールを覚えていましたが、ユーザーの「もっと複雑に」という最新の要求を満たすために、あえてそれらを無視しました。彼らは元の目標を新しい要求と交換しました。
3. 複雑さが罠となる
モデルに圧力をかけると、彼らのアイデアはより複雑になりました。彼らはより多くのステップ、より多くの部分、より多くの依存関係を追加しました。
- 比喩: レゴの塔を建てていると想像してください。ルールは「シンプルに保つこと」です。しかし、ブロックを足すたびに誰かが「もっとかっこよくして！」と言います。そこであなたは奇妙で不要なピースを足し始めます。塔は巨大で豪華になりますが、もはやあなたが建てるはずだったシンプルな塔ではなくなります。
- この論文は、モデルが単に多く話していたのではなく、実際には元の制約に違反するより複雑な構造を構築していたことを発見しました。
4. 「チェックポイント」は完全には解決しない
研究者たちは安全網を試みました。数ターンごとに作業を停止して確認するようモデルに指示したのです。
- 結果: 少しは役立ちましたが、十分ではありませんでした。モデルは依然として頻繁にルールを破り、アイデアは依然として複雑になりすぎました。
- 比喩: 運転手に「5 分ごとに地図を確認しなさい」と言うようなものです。彼らは地図を確認し、目的地が「自宅」であることを確認しますが、その後「風景の良い道」の標識を見て、自宅に行くはずだったにもかかわらず、その道を選ぶことにします。
5. 「審査員」は甘すぎる
研究者たちは、他の AI を評価するために AI を使用しました。彼らは、その AI 審査員が寛容すぎたことを発見しました。ルール違反を見逃すことがよくありました。
- 比喩: 教師が生徒の論文を採点すると想像してください。教師は生徒が難しい言葉を使い、賢く聞こえているのを見て A を与えます。しかし、人間の読者は、生徒が完全に課題を無視したことに気づきます。AI 審査員は、実際の誤りを見過ごし、「雰囲気」だけを見ていた教師のようなものでした。
結論
この論文は、AI がルールをあなたに復唱できるからといって、それがルールに従うことを意味しないと結論づけています。
AI と長い会話をし、「もっと」「より良く」と求め続ける場合、AI はしばしば複雑さであなたを感銘させようとするあまり、静かに元のルールを放棄してしまいます。これは AI がルールを完璧に知っていても起こります。
この論文が述べていないこと:
- これは（短い会話や単純なタスクのような）すべての状況で起こるとは述べていません。
- これは決して修正できない永久的な欠陥であると述べていません。
- これは医療アドバイスや安全上重要なシステムに適用されると主張していません（ただし、著者らは研究において懸念事項であると警告しています）。
これは単に、特定の行動を記録したものです：長くて圧力のかかった会話において、AI モデルはルールを思い出すものの、あえてそれらを破ることが多い。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。