Three Models of RLHF Annotation: Extension, Evidence, and Authority
本論文は、RLHF における人間の注釈者の 3 つの概念モデル（拡張、証拠、権威）を区別することを提案し、モデルの整合性の各次元に必要な規範的役割に合わせてデータ収集および集約戦略を調整することで、より効果的な注釈パイプラインの設計を導くものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
非常に賢く、物語を書き、質問に答え、人々と会話できるロボットを構築している状況を想像してください。何百万冊もの本を読み込ませて言語を教えたものの、そのロボットはいささか荒れています。時には失礼なことを言ったり、嘘をついたり、悪い助言を与えたりするのです。これを修正するために、何が善で何が悪かをロボットに伝える人間の「編集者」チームを雇います。このプロセスはRLHF（人間フィードバック付き強化学習）と呼ばれます。
スティーブ・コイナーによる論文は、これらの人間の編集者を雇う際、私たちが「なぜ彼らを雇うのか」について混乱をきたすことが多いと主張しています。彼らは私たちのアイデアを模倣するためにいるのでしょうか？私たちが知らない事実を伝えるためにいるのでしょうか？それとも、最終的な法を私たちに代わって制定するためにいるのでしょうか？
コイナーは、これらの人間の編集者について考える3 つの明確な方法があると示唆しており、これらを混同するとロボットが混乱し、不適切な振る舞いをする原因になると述べています。
以下に、3 つのモデルを簡単なアナロジーを用いて説明します。
1. 拡張モデル：「シャドウクローン」
考え方： このモデルにおいて、人間の編集者はロボット設計者のコピーとして存在します。
アナロジー： あなたがシェフで、見習いシェフにあなたの看板料理を教える状況を想像してください。あなたは見習いに独自の工夫を加えさせたり、客の好みを尋ねさせたりしたくありません。彼らには料理を味わい、「はい、これはまさに私が作ったらこうなるはずだ」と言うことを期待します。もし見習いが「もっと塩が必要だと思う」と言っても、あなたが完璧だと思えば、彼を無視します。
仕組み： 編集者は設計チームの脳の延長線上に過ぎません。設計者がすべての回答をチェックする暇がない場合の穴埋め役として存在します。
- 向いている用途： ロボットのトーン、スタイル、または企業固有のルールの決定。
- 落とし穴： 彼らをこのように扱う一方で、彼らが「コミュニティ」と意見が食い違ったときに怒るなら、あなたは混乱しています。
2. 証拠モデル：「専門家証人」
考え方： このモデルにおいて、編集者は設計者が持っていない事実やデータを提供するために存在します。
アナロジー： あなたが裁判所の判事だが、ある特定の種類の珍しい魚については何も知らない状況を想像してください。あなたは海洋生物学者を専門家証人として雇います。「この魚は毒がありますか？」と尋ねると、生物学者は「はい、私の知識に基づけば毒があります」と答えます。あなたが個人的に安全に見えたとしても、あなたは彼らの話を聞かなければなりません。彼らの仕事は、真実に関する証拠を提供することです。
仕組み： 編集者は、設計者に「実際、大多数の人々はこれを不快に感じます」とか「この事実は誤りです」と伝える専門家や公衆の代表者です。設計者は、単に自分たちが同意しないという理由だけで彼らを覆すべきではありません。編集者はデータを提供しているのです。
- 向いている用途： ロボットが事実正確かどうか、あるいは一般的な社会的基準（「これは不快か？」など）に違反するかどうかの確認。
- 落とし穴： 彼らを専門家として扱う一方で、自分たちの個人的な意見と一致しないという理由で彼らを解雇するなら、専門性の価値を失います。
3. 権威モデル：「ミニ立法府」
考え方： このモデルにおいて、編集者は事実上の「正しさ」や「誤り」に関わらず、ルールを制定する権限を持っています。
アナロジー： 無作為に選ばれた市民のグループが新しい法律について投票する町会議を想像してください。彼らは交通の専門家である必要はありません。彼らに必要なのは、人々を代表することだけです。彼らが速度制限を引き下げることに投票すれば、市はそれに従わなければなりません。それは市民が市長よりも「賢い」からではなく、彼らがコミュニティのために決定する権限を持っているからです。
仕組み： 編集者は「ミニ立法府」として機能します。彼らの仕事は真実を見つけることでも、設計者を模倣することでもなく、ロボットが何をすべきかを決定する権利を行使することです。彼らの権力は、人口の公平で代表的なサンプルであることから生まれます。
- 向いている用途： 唯一の「正解」が存在せず、コミュニティが決定するのみであるような、論争的な政治問題や深い道徳的問いの決定。
- 落とし穴： 彼らを立法府として扱う一方で、自分たちの個人的な見解と一致しないという理由で彼らの投票を無視するなら、システムの「社会契約」を破ることになります。
なぜこれらを混同するとロボットが破綻するのか？
この論文は、現在のほとんどの AI システムがこれら 3 つのすべてを乱雑に混ぜ合わせたものであり、それが失敗モードにつながると主張しています。
- 自己破滅： 公衆を代表する「ミニ立法府（権威）」として編集者を雇ったとします。しかし、その後、自分の個人的な意見に反対する編集者を解雇します（拡張）。あなたが求めたもの、つまり代表する声を、あなたは自ら破壊してしまったのです。リーダーが自分に反対する有権者を解雇できる民主主義などあり得ません。
- 分断： 編集者に「あなたは事実を提供するためにここにいる」と（証拠）伝えたのに、指示が曖昧なため、彼らは単にあなたのスタイルを模倣してほしいのだと（拡張）考えます。その結果、一部の編集者が専門家になろうとし、他の編集者がクローンになろうとするという、混乱したデータの山が生まれます。ロボットは矛盾したシグナルを受け取り、何も有用なことを学びません。
- 誤った帰属（「責任の洗浄」）： これは、企業が「ロボットが何を言うかは公衆が決める！」（権威）と宣言しながら、実際には自分たちに反対する者をこっそり解雇している（拡張）状況です。彼らはロボットによる不適切な振る舞いの責任を「公衆」に転嫁しようとしながら、実際にはすべての統制を握ろうとしています。
著者の大きな提言
スティーブ・コイナーは、すべてをこなす単一のパイプラインを構築しようとするのをやめるべきだと提案しています。代わりに、異なる仕事には異なるパイプラインを構築すべきです。
- スタイルについて： 拡張モデルを使用します。ロボットが興奮したトーンで話すか、真剣なトーンで話すかは設計者に決めさせます。
- 事実について： 証拠モデルを使用します。何が真実かをロボットに伝える専門家を採用します。
- 論争的な価値観について： 権威モデルを使用します。代表的な人々のグループに、難しい道徳的状況においてロボットが何をすべきかを投票させます。
結論：
有益な AI を構築することは、単なる技術的な問題ではありません。哲学的な問題です。人間の編集者を雇う前に、あなたは決定しなければなりません。彼らはあなたのクローンなのか、専門家なのか、それとも立法者なのか？ 明確に一つを選ばなければ、あなたのロボットは混乱し、一貫性を欠き、潜在的に不公平なものになるでしょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。