💬 NLP

Understanding helpfulness and harmless tension in reward models

Diese Arbeit untersucht die internen Mechanismen von Belohnungsmodellen in RLHF und zeigt auf, dass Interferenzen zwischen Hilfsbereitschafts- und Schadensvermeidungszielen durch gemeinsam genutzte Neuronen entstehen, die kausal ein Ziel unterstützen, während sie das andere untergraben, wodurch erklärt wird, warum Modelle mit gemischten Zielen oft schlechter abschneiden als Modelle mit einem Einzelziel.

Ursprüngliche Autoren: Eshaan Tanwar, Pepa Atanasova

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Eshaan Tanwar, Pepa Atanasova

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Tauziehen“ in den KI-Gehirnen

Stellen Sie sich vor, Sie trainieren einen neuen Mitarbeiter (eine KI), um der perfekte Assistent zu sein. Sie geben ihm zwei Hauptregeln:

Hilfsbereit sein: Beantworten Sie jede Frage, lösen Sie jedes Problem und seien Sie super nützlich.
Harmlos sein: Sagen Sie niemals etwas Gefährliches, Beleidigendes oder Privates.

Das Problem ist, dass diese beiden Regeln manchmal gegeneinander kämpfen. Wenn ein Nutzer nach einer „privaten E-Mail-Adresse“ fragt, bedeutet Hilfsbereitschaft, die Antwort zu geben, aber Harmlosigkeit bedeutet, die Antwort zu verweigern, da dies eine Verletzung der Privatsphäre darstellt.

Diese Arbeit untersucht, was im „Gehirn“ des Belohnungsmodells (Reward Model) der KI passiert (dem Teil, der entscheidet, welche Antworten gut sind), wenn wir versuchen, es gleichzeitig beides lehren zu wollen. Die Autoren fanden heraus, dass der Versuch, beides gleichzeitig zu tun, die KI oft in beidem schlechter macht, und sie haben herausgefunden, war Warum, indem sie sich die spezifischen „Neuronen“ (winzige Schalter) innerhalb des Modells angesehen haben.

1. Das Experiment: Drei verschiedene Coaches

Um den Konflikt zu verstehen, trainierten die Forscher drei verschiedene Versionen des „Richters“ (Belohnungsmodells) der KI:

Der „Hilfsbereite“ Coach: Nur darauf trainiert, die nützlichsten Antworten auszuwählen.
Der „Harmlose“ Coach: Nur darauf trainiert, die sichersten Antworten auszuwählen.
Der „Gemischte“ Coach: Trainiert, gleichzeitig sowohl hilfsbereit als auch harmlos zu sein.

Das Ergebnis: Der „Gemischte“ Coach war tatsächlich schlechter als die anderen beiden. Er konnte sich nicht so gut entscheiden wie die Spezialisten. Es war wie ein Coach, der versucht, einem Fußballspieler beizubringen, gleichzeitig der weltbeste Stürmer und der weltbeste Torwart zu sein; der Spieler war am Ende in beidem mittelmäßig.

2. Das Problem der „gemeinsamen Neuronen“

Die Forscher wollten wissen, warum der gemischte Coach Schwierigkeiten hatte. Sie schauten in das Gehirn der KI, um zu sehen, welche „Neuronen“ (winzige Verarbeitungseinheiten) feuerten, wenn die KI über Hilfsbereitschaft versus Harmlosigkeit nachdachte.

Die Entdeckung: Sie fanden heraus, dass etwa die Hälfte der Neuronen, die für Hilfsbereitschaft verwendet wurden, exakt dieselben Neuronen waren, die auch für Harmlosigkeit verwendet wurden.

Die Analogie: Stellen Sie sich eine geschäftige Küche vor.

Der „hilfsbereite“ Koch benutzt ein bestimmtes Set von Messern, um Gemüse schnell zu schneiden.
Der „harmlose“ Koch benutzt ein anderes Set von Messen, um vorsichtig zu sein und sich nicht in den Finger zu schneiden.
Die Forscher fanden heraus, dass beide Köche versuchen, dieselben 50 % der Messer zu benutzen.

Wenn der „gemischte“ Koch versucht, diese gemeinsamen Messer zu benutzen, wird er verwirrt. Wenn er zu schnell schneidet, um hilfsbereit zu sein, schneidet er vielleicht in den Finger (harmlos). Wenn er sich zu langsam bewegt, um sicher zu sein, erledigt er das Essen nicht (hilfsbereit). Da die gleichen „Messer“ (Neuronen) in zwei verschiedene Richtungen gezogen werden, gerät das gesamte System ins Stocken.

3. Der „Interferenz“-Effekt

Die Arbeit zeigt, dass diese gemeinsamen Neuronen unglaublich mächtig sind.

Als die Forscher die Neuronen, die spezifisch für Hilfsbereitschaft waren, „ausschalteten“ (ablatierten), wurde die KI schlechter in der Hilfsbereitschaft, wurde aber tatsächlich besser in der Harmlosigkeit.
Als sie die harmlosen Neuronen ausschalteten, wurde die KI schlechter in der Harmlosigkeit, aber besser in der Hilfsbereitschaft.

Dies beweist, dass diese Neuronen nicht nur passive Helfer sind; sie kämpfen aktiv gegeneinander. Im „gemischten“ Modell versuchen die hilfsbereiten Neuronen ständig, die KI zur Antwort zu drängen, während die harmlosen Neuronen versuchen, sie zur Verweigerung zu drängen. Da sie dieselbe Hardware teilen, heben sie sich gegenseitig auf, was zu einer verwirrten KI führt, die in beiden Tests schlechter abschneidet.

4. Das „schwache Signal“

Selbst wenn das gemischte Modell die richtige Entscheidung traf (wie etwa die Verweigerung einer schlechten Anfrage), bemerkten die Forscher noch etwas anderes. Der „Konfidenzwert“ (Confidence Score), den es sich selbst gab, war viel niedriger als bei den Spezialisten-Modellen.

Die Analogie:

Der hilfsbereite Coach sagt: „Ja, diese Antwort ist großartig! Ich bin mir zu 100 % sicher!“
Der harmlose Coach sagt: „Nein, das ist schlecht! Ich bin mir zu 100 % sicher!“
Der gemischte Coach sagt: „Hm, vielleicht ist das okay? Ich bin mir... zu 60 % sicher?“

Das gemischte Modell ist weniger selbstbewusst, weil der interne Konflikt es zögern lässt. Es ist wie ein Mensch, der versucht, gleichzeitig in zwei verschiedene Richtungen zu gehen; man schlurft stattdessen unsicher und langsam vorwärts.

Zusammenfassung der Ergebnisse

Spezialisten gewinnen: Eine KI, die nur auf Hilfsbereitschaft oder nur auf Harmlosigkeit trainiert wurde, ist besser als eine, die auf beides trainiert wurde.
Gemeinsame Hardware verursacht Konflikte: Der Grund für das Scheitern ist nicht nur ein Mangel an Daten; es ist, dass die KI dieselben internen Teile (Neuronen) für beide Aufgaben verwendet, und diese Teile verwirrt werden, wenn sie zu entgegengesetzten Dingen aufgefordert werden.
Die Lösung ist nicht einfach: Man kann nicht einfach die Trainingsdaten „mischen“ und ein perfektes Ergebnis erwarten. Die Arbeit legt nahe, dass wir Wege finden müssen, diese „gemeinsamen Neuronen“ zu trennen, damit die KI hilfsbereit sein kann, ohne gegen ihre eigenen Sicherheitsmechanismen zu kämpfen.

Kurz gesagt: Die Arbeit zeigt auf, dass der Kampf zwischen Hilfsbereitschaft und Sicherheit nicht nur ein Problem der Regeln ist, sondern ein physisches Verdrahtungsproblem im Gehirn der KI, bei dem dieselben Schalter versuchen, zwei gegensätzliche Aufgaben gleichzeitig zu erfüllen.

Technisches Resümee: Verständnis der Spannung zwischen Hilfsbereitschaft und Schadensfreiheit in Belohnungsmodellen

Problemstellung

Belohnungsmodelle (Reward Models, RMs) sind zentral für das Reinforcement Learning from Human Feedback (RLHF) und haben die Aufgabe, Large Language Models (LLMs) mit menschlichen Werten abzugleichen, insbesondere in Bezug auf Hilfsbereitschaft (helpfulness) und Schadensfreiheit (harmlessness). Obwohl diese Ziele in Settings mit gemischten Zielsetzungen häufig gleichzeitig verfolgt werden, stehen sie oft in Konflikt. Beispielsweise könnte ein RM beispielsweise die Anforderung eines Nutzers ablehnen, um die Schadensfreiheit zu gewährleisten (z. B. die Verweigerung der Herausgabe der privaten E-Mail eines fiktiven Charakters), wenn ein Mensch eine hilfreiche, informative Antwort bevorzugen würde. Dieses Phänomen, bezeichnet als Alignment-Spannung (alignment tension), führt zu suboptimalem Modellverhalten, bei dem ein ausgerichtetes LLM entweder unsichere Antworten produziert, um die Hilfsbereitschaft zu erfüllen, oder harmlose Anfragen ablehnt, um die Schadensfreiheit zu gewährleisten.

Trotz der Verbreitung dieses Problems bleiben die internen Mechanismen von RMs hinsichtlich der Art und Weise, wie sie diese konkurrierenden Ziele kodieren, repräsentieren und in Einklang bringen, weitgehend unverstanden. Die bestehende Interpretierbarkeitsforschung konzentriert sich primär auf die Erklärung spezifischer Scoring-Entscheidungen, statt zu analysieren, wie konkurrierende Ziele innerhalb der internen Schaltkreise des Modells interagieren.

Methodik

Die Autoren untersuchen die Alignment-Spannung durch eine Kombination aus Verhaltensanalyse und mechanistischer Interpretierbarkeit.

Experimenteller Aufbau

Modelltraining: Die Studie trainiert drei Varianten von Belohnungsmodellen aus denselben vortrainierten LLM-Backbones (SmoLLM2 und GPT-2 Familien):
- Hilfreiches RM ( $r^H_\theta$ ): Trainiert ausschließlich auf der Hilfsbereitschafts-Teilmenge des HH-RLHF-Datensatzes.
- Schadensfreies RM ( $r^S_\theta$ ): Trainiert ausschließlich auf der Schadensfreiheits-Teilmenge.
- Gemischtes RM ( $r^{HS}_\theta$ ): Trainiert auf dem kombinierten Datensatz, der beide Ziele enthält.
Evaluierung: Die Modelle werden auf diversen Benchmarks (RewardBench, RewardBench2, RM-Bench) evaluiert, die nach hilfsbereitschaftsorientierten Aufgaben (z. B. Chat, Reasoning, Instruktionsfolgen) und schadensfreiheitsorientierten Aufgaben (z. B. Sicherheit, Verweigerung, adversarielle Robustheit) kategorisiert sind.
Neuronen-Analyse:
- Identifikation: Die Autoren identifizieren „orientierte Neuronen“, indem sie größenbasierte Wichtigkeitswerte berechnen. Neuronen mit Aktivierungen im obersten $\tau$ -ten Perzentil (festgelegt auf 10) auf spezifischen Ziel-Datensätzen werden als hilfsbereitschaftsorientiert oder schadensfreiheitsorientiert klassifiziert.
- Kausale Intervention: Es wird eine gezielte Ablation durchgeführt, indem die Aktivierungen dieser identifizierten Neuronen während des Forward Pass auf Null gesetzt werden, um deren kausalen Einfluss auf die Modellleistung zu messen.
- Überlappungsanalyse: Die Studie quantifiziert die Überlappung zwischen Neuronen-Sets, die in Single-Objective-Modellen identifiziert wurden, gegenüber dem Mixed-Objective-Modell.

Zentrale Ergebnisse

1. Verhalten und Leistung

Unterleistung von gemischten Modellen: Gemischte Zielsetzungs-RMs schneiden über verschiedene Evaluierungsaufgaben hinweg konsistent schlechter ab als Single-Objective-RMs. Sie können die spezialisierte Leistung von Modellen, die auf ein einzelnes Ziel trainiert wurden, nicht erreichen, was auf eine Interferenz zwischen den Zielen während der gemeinsamen Optimierung hindeutet.
Asymmetrie der Ziele: Single-Objective-Modelle zeigen deutliche Verhaltensmuster. Hilfreiche RMs zeichnen sich durch kooperative Antworten aus, können aber eine mangelnde Robustheit gegenüber täuschenden Prompts aufweisen. Schadensfreie RMs zeigen eine überlegene Robustheit in adversariellen Settings, können aber harmlose Anfragen übermäßig verweigern.
Begrenzte Retention: Wenn die durch Single-Objective-Modelle erlernten Verhaltensweisen gegen das Mixed-Objective-Modell getestet werden, ist die „Verhaltensretention“ (behavioral retention) relativ gering (durchschnittlich ~56 % für Hilfsbereitschaft und ~62 % für Schadensfreiheit). Während grobe Verhaltensweisen (z. B. generische Verweigerung) erhalten bleiben, verschlechtern sich nuancierte und adversariell robuste Verhaltensweisen signifikant.
Belohnungskalibrierung: Selbst wenn das gemischte Modell die korrekte Entscheidung trifft (passend zum Single-Objective-Modell), sind seine Belohnungswerte konsistent schwächer und stärker um Null konzentriert, was auf einen Verlust an Konfidenz und Signal-Separabilität hindeutet.

2. Mechanistische Erkenntnisse: Rollen der Neuronen und Überlappung

Kausale Wichtigkeit: Ablationsstudien bestätigen, dass als spezifisch für ein Ziel identifizierte Neuronen kausal entscheidend für dieses Ziel sind. Das Entfernen von schadensfreiheitsorientierten Neuronen aus einem schadensfreien RM verursacht einen signifikanten Abfall der Leistung in schadensfreiheitsbezogenen Aufgaben (ca. 12 Punkte), verbessert aber oft die Leistung in Aufgaben der Hilfsbereitschaft und umgekehrt.
Gemeinsame Repräsentationen: Ein erheblicher Teil der Neuronen (etwa 50 %), die mit Hilfsbereitschaft und Schadensfreiheit assoziiert sind, sind gemeinsam (d. h. in beiden Single-Objective-Modellen hoch aktiviert).
Disproportionale Beeinflussung: Diese gemeinsamen Neuronen üben einen unverhältnismäßig großen Einfluss auf das Modellverhalten aus. Die Ablation gemeinsamer Neuronen im Mixed-Objective-RM verursacht einen schweren Genauigkeitsabfall (10 Punkte bei Schadensfreiheits-Aufgaben, 4,4 Punkte bei Hilfsbereitschafts-Aufgaben), was die Auswirkungen der Ablation von zielspezifischen (nicht-gemeinsamen) Neuronen weit übersteigt.
Schichtverteilung: Orientierte Neuronen konzentrieren sich in den späten Schichten des Modells, welche dafür bekannt sind, hochgradig semantische Merkmale zu erfassen. Dies deutet darauf hin, dass der Konflikt in der Verarbeitung komplexer semantischer Repräsentationen entsteht und nicht auf der Ebene der oberflächlichen Syntax.

Zentrale Beiträge

Charakterisierung der Alignment-Spannung: Die Arbeit zeigt, dass das gemeinsame Training auf Hilfsbereitschaft und Schadensfreiheit zu einer Leistungsdegradierung und reduzierten Transferierbarkeit im Vergleich zum Single-Objective-Training führt, was bestätigt, dass Alignment-Spannung ein Problem der Repräsentationsinterferenz ist.
Identifikation von zielorientierten Neuronen: Die Autoren identifizieren spezifische Neuronen, die kausal mit Alignment-Zielen verknüpft sind, und zeigen, dass diese für ihr Ziel-Objektiv essenziell sind, aber oft für das gegensätzliche Ziel nachteilig wirken.
Nachweis gemeinsamer Repräsentationen: Die Studie offenbart, dass fast die Hälfte der Neuronen, die diese Ziele antreiben, gemeinsam genutzt werden. Diese Überlappung schafft einen Flaschenhals, bei dem die Optimierung eines Ziels inhärent mit dem anderen kollidiert, was die beobachtete Spannung in Mixed-Objective-Modellen erklärt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Multi-Objective-Alignment nicht bloß ein Verhaltens-Trade-off ist, sondern ein Repräsentationsinterferenzproblem, das aus überlappenden internen Schaltkreisen resultiert. Die Ergebnisse legen nahe, dass aktuelle Methoden des Mixed-Objective-Trainings Schwierigkeiten haben, weil sie konkurrierende Ziele dazu zwingen, dieselben gemeinsamen Repräsentationen zu modifizieren.

Die Autoren argumentieren, dass dieses mechanistische Verständnis entscheidend für die Entwicklung zukünftiger disentangled (entkoppelte) und kontrollierbare Alignment-Methoden ist. Indem sie erkennen, dass die gemeinsamen Neuronen die Quelle des Konflikts sind, kann die zukünftige Arbeit darauf abzielen, architektonische oder Trainingsstrategien zu entwickeln, die diese Repräsentationen trennen, um die Alignment-Spannung zu mildern. Die Studie stellt einen grundlegenden Schritt dar, um von einem Black-Box-RLHF-Training hin zu einem prinzipientreueren, interpretierbaren Reward-Modeling zu gelangen.

Limitationen

Die Autoren merken an, dass ihre Analyse auf die Phase des Reward-Modelings innerhalb von RLHF beschränkt ist und nicht auf die Phasen der Policy-Optimierung wie Direct Preference Optimization (DPO) ausgeweitet wird. Zudem verhinderten rechnerische Einschränkungen die Verwendung von parametereffizientem Fine-Tuning, und die Studie konzentriert sich auf breite Definitionen von Hilfsbereitschaft und Schadensfreiheit statt auf die feineren Unterscheidungen, die in neueren Datensätzen zu finden sind.