Three Models of RLHF Annotation: Extension, Evidence, and Authority
Dieser Artikel schlägt vor, zwischen drei konzeptionellen Modellen menschlicher Annotatoren im RLHF zu unterscheiden – Erweiterung, Evidenz und Autorität –, um die Gestaltung effektiverer Annotationspipelines zu leiten, indem Daten sammelungs- und aggregationsstrategien auf die spezifische normative Rolle abgestimmt werden, die für jede Dimension der Modellalignment erforderlich ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen einen sehr intelligenten Roboter, der Geschichten schreiben, Fragen beantworten und mit Menschen plaudern kann. Sie haben ihm das Sprechen beigebracht, indem Sie ihm Millionen von Büchern gefüttert haben, doch nun ist der Roboter etwas wild. Er sagt manchmal unhöfliche Dinge, lügt oder gibt schlechte Ratschläge. Um dies zu beheben, stellen Sie ein Team menschlicher „Redakteure" ein, um dem Roboter zu sagen, was gut und was schlecht ist. Dieser Prozess wird RLHF (Reinforcement Learning with Human Feedback) genannt.
Die Arbeit von Steve Coyne argumentiert, dass wir uns oft verwirren, wenn wir diese menschlichen Redakteure einstellen, weil wir nicht klar wissen, warum wir sie einstellen. Sind sie da, um unsere Ideen zu kopieren? Um uns Fakten zu nennen, die wir nicht kennen? Oder um das endgültige Gesetz für uns zu erlassen?
Coyne schlägt vor, dass es drei unterschiedliche Wege gibt, über diese menschlichen Redakteure nachzudenken, und dass das Vermischen dieser Konzepte dazu führt, dass der Roboter verwirrt wird und sich schlecht verhält.
Hier sind die drei Modelle, erklärt mit einfachen Analogien:
1. Das Erweiterungsmodell: „Der Schattenklon"
Die Idee: In diesem Modell sind die menschlichen Redakteure da, um die Designer des Roboters zu kopieren.
Die Analogie: Stellen Sie sich vor, Sie sind ein Koch, der einem Sous-Chef beibringen möchte, Ihr Signaturgericht zu kochen. Sie wollen nicht, dass der Sous-Chef seine eigene einzigartige Note hinzufügt oder fragt, was die Kunden mögen. Sie wollen, dass er das Essen probiert und sagt: „Ja, das schmeckt genau so, wie ich es gemacht hätte." Wenn der Sous-Chef sagt: „Ich denke, es braucht mehr Salz", Sie aber denken, es ist perfekt, ignorieren Sie ihn.
Wie es funktioniert: Die Redakteure sind lediglich Erweiterungen des Gehirns des Designteams. Sie sind da, um die Lücken zu füllen, wenn die Designer zu beschäftigt sind, um jede einzelne Antwort zu prüfen.
- Gut für: Die Festlegung des Tons, des Stils oder unternehmensspezifischer Regeln des Roboters.
- Die Falle: Wenn Sie sie so behandeln, sich dann aber ärgern, wenn sie mit der „Gemeinschaft" nicht übereinstimmen, sind Sie verwirrt.
2. Das Evidenzmodell: „Der Sachverständige"
Die Idee: In diesem Modell sind die Redakteure da, um Fakten oder Daten zu liefern, die den Designern fehlen.
Die Analogie: Stellen Sie sich vor, Sie sind Richter in einem Gerichtssaal, wissen aber nichts über eine bestimmte Art von seltenem Fisch. Sie stellen einen Meeresbiologen als Sachverständigen ein. Sie fragen: „Ist dieser Fisch giftig?" Der Biologe antwortet: „Ja, basierend auf meinem Wissen ist er es." Sie müssen ihnen zuhören, auch wenn Sie persönlich denken, er sieht harmlos aus. Ihre Aufgabe ist es, Ihnen Beweise über die Wahrheit zu liefern.
Wie es funktioniert: Die Redakteure sind Experten oder Vertreter der Öffentlichkeit, die den Designern sagen: „Tatsächlich finden die meisten Menschen dies beleidigend" oder „Diese Tatsache ist falsch." Die Designer sollten sie nicht nur deshalb überstimmen, weil sie anderer Meinung sind; die Redakteure liefern Daten.
- Gut für: Die Prüfung, ob der Roboter faktisch korrekt ist oder allgemeine soziale Standards verletzt (wie „Ist dies beleidigend?").
- Die Falle: Wenn Sie sie wie Experten behandeln, sie aber feuern, weil sie nicht Ihrer persönlichen Meinung zustimmen, verlieren Sie den Wert ihrer Expertise.
3. Das Autoritätsmodell: „Das Mini-Parlament"
Die Idee: In diesem Modell haben die Redakteure die Macht, die Regeln zu machen, unabhängig davon, ob sie im faktischen Sinne „richtig" oder „falsch" sind.
Die Analogie: Stellen Sie sich eine Bürgerversammlung vor, bei der eine Gruppe zufällig ausgewählter Bürger über ein neues Gesetz abstimmt. Sie müssen keine Experten für Verkehr sein; sie müssen nur die Menschen repräsentieren. Wenn sie dafür stimmen, das Tempolimit zu senken, muss die Stadt gehorchen, nicht weil die Bürger „klüger" sind als der Bürgermeister, sondern weil sie die Autorität haben, für die Gemeinschaft zu entscheiden.
Wie es funktioniert: Die Redakteure fungieren als ein „Mini-Parlament". Ihre Aufgabe ist es nicht, die Wahrheit zu finden oder den Designer zu kopieren; sie besteht darin, das Recht auszuüben, zu entscheiden, was der Roboter tun soll. Ihre Macht ergibt sich daraus, dass sie eine faire, repräsentative Stichprobe der Bevölkerung sind.
- Gut für: Die Entscheidung über kontroverse politische Themen oder tiefe moralische Fragen, bei denen es keine einzelne „richtige" Antwort gibt, sondern nur das, was die Gemeinschaft entscheidet.
- Die Falle: Wenn Sie sie wie ein Parlament behandeln, aber ihre Abstimmung ignorieren, weil sie nicht Ihrer persönlichen Ansicht entspricht, brechen Sie den „sozialen Vertrag" des Systems.
Warum führt das Vermischen dieser Modelle dazu, dass der Roboter versagt?
Die Arbeit argumentiert, dass die meisten aktuellen KI-Systeme ein chaotisches Gemisch aus allen drei sind, was zu Versagensmodi führt:
- Selbstzerstörung: Stellen Sie sich vor, Sie stellen Redakteure ein, die als „Mini-Parlament" (Autorität) fungieren sollen, um die Öffentlichkeit zu vertreten. Aber dann feuern Sie jeden Redakteur, der nicht Ihrer persönlichen Meinung zustimmt (Erweiterung). Sie haben genau das zerstört, was Sie verlangt haben: eine repräsentative Stimme. Sie können keine Demokratie haben, in der der Anführer Wähler feuern kann, die gegen ihn stimmen.
- Fragmentierung: Stellen Sie sich vor, Sie sagen den Redakteuren: „Sie sind hier, um uns Fakten zu liefern" (Evidenz), aber Ihre Anweisungen sind vage, sodass sie denken, Sie wollen nur, dass sie Ihren Stil kopieren (Erweiterung). Das Ergebnis ist ein Haufen verwirrender Daten, bei denen einige Redakteure versuchen, Experten zu sein, und andere versuchen, Klone zu sein. Der Roboter erhält ein gemischtes Signal und lernt nichts Nützliches.
- Fehlzuschreibung (Das „Verantwortungs-Waschen"): Dies ist der Fall, wenn ein Unternehmen sagt: „Wir lassen die Öffentlichkeit entscheiden, was der Roboter sagt!" (Autorität), aber in Wirklichkeit heimlich jeden feuern, der nicht mit ihnen übereinstimmt (Erweiterung). Sie versuchen, die Schuld für das schlechte Verhalten des Roboters auf die „Öffentlichkeit" abzuwälzen, während sie tatsächlich die volle Kontrolle behalten.
Die große Empfehlung des Autors
Steve Coyne schlägt vor, dass wir aufhören sollten, zu versuchen, eine einzige Pipeline zu bauen, die alles erledigt. Stattdessen sollten wir unterschiedliche Pipelines für unterschiedliche Aufgaben bauen:
- Für Stil: Verwenden Sie das Erweiterungsmodell. Lassen Sie die Designer entscheiden, ob der Roboter enthusiastisch oder ernst klingen soll.
- Für Fakten: Verwenden Sie das Evidenzmodell. Stellen Sie Experten ein, um dem Roboter zu sagen, was wahr ist.
- Für kontroverse Werte: Verwenden Sie das Autoritätsmodell. Lassen Sie eine repräsentative Gruppe von Menschen abstimmen, was der Roboter in schwierigen moralischen Situationen tun soll.
Das Fazit:
Die Entwicklung einer hilfreichen KI ist nicht nur ein technisches Problem; es ist ein philosophisches. Bevor Sie Ihre menschlichen Redakteure einstellen, müssen Sie entscheiden: Sind sie Ihre Klone, Ihre Experten oder Ihre Gesetzgeber? Wenn Sie nicht eindeutig eine Option wählen, wird Ihr Roboter am Ende verwirrt, inkonsistent und potenziell unfair sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.