🤖 machine learning

Safety Hacking in Constrained Best-of- $N$ Inference-time Scaling

Diese Arbeit zeigt, dass die Skalierung zur Inferenzzeit mittels beschränktem Best-of- $N$ -Sampling inhärent anfällig für „Safety Hacking“ ist, wobei unvollkommene Sicherheits-Proxys die zulässige Menge kontaminieren und die Belohnungsmaximierung verbleibende unsichere Ausgaben verstärkt, was dazu führt, dass Sicherheitsfehler asymptotisch sicher werden, sofern keine spezifischen Mechanismen zur Abdeckungskontrolle eingesetzt werden.

Ursprüngliche Autoren: Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Veröffentlicht 2026-08-25

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Akifumi Wachi, Takumi Tanabe, Youhei Akimoto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der modernen Landschaft der künstlichen Intelligenz werden große Sprachmodelle zunehmend durch einen zweistufigen Prozess gesteuert, um sicherzustellen, dass sie sowohl hilfreich als auch harmlos sind. Zuerst fungiert ein Sicherheitsfilter als Gatekeeper, der potenzielle Antworten scannt und alles ablehnt, das gefährlich oder unangemessen erscheint. Zweitens bewertet ein Belohnungssystem die verbleibenden sicheren Optionen und rankt sie, um diejenige auszuwählen, die am nützlichsten oder qualitativ hochwertigsten erscheint. Diese Kombination ermöglicht es Entwicklern, die Anzahl der Optionen, die ein Modell in Betracht zieht, zu skalieren, in der Hoffnung, dass sie durch das Betrachten von mehr Möglichkeiten eine bessere Antwort finden können. Die Annahme war lange Zeit, dass es zu sichereren und besseren Ergebnissen führt, wenn der Sicherheitsfilter präzise genug ist und das Belohnungssystem gut arbeitet, indem man einfach die Anzahl der Kandidaten erhöht.

Eine neue Studie offenbart jedoch einen verborgenen Fehler in dieser Logik und zeigt, dass eine Skalierung nach hinten losgehen kann. Die Forscher, die mit der LY Corporation und akademischen Institutionen zusammenarbeiteten, entdeckten, dass der Auswahlprozess unbeabsichtigt winzige Fehler im Sicherheitsfilter ausnutzen kann, wenn ein Modell gebeten wird, die beste Antwort aus einem großen Pool von Kandidaten auszuwählen. Wenn der Filter fälschlicherweise einige unsichere Antworten durchlässt und diese unsicheren Antworten zufällig leicht überhöhte Bewertungen vom Belohnungssystem erhalten, wird der Auswahlprozess sie schließlich als die beste Wahl gegenüber den tatsächlich sicheren Optionen identifizieren. Dieses Phänomen, das die Autoren als „Safety Hacking“ bezeichnen, bedeutet, dass mit der Anzahl der Kandidaten, die das System betrachtet, die Wahrscheinlichkeit, dass es eine schädliche Antwort auswählt, gegen Gewissheit steigt, selbst wenn der Sicherheitsfilter größtenteils korrekt arbeitet.

Der Kern des Problems liegt darin, wie das System mit den seltenen Fehlern umgeht, die unweigerlich auftreten. Kein Sicherheitsfilter ist perfekt; gelegentlich lässt er eine gefährliche Antwort durch und klassifiziert sie als sicher, obwohl sie es nicht ist. In einer kleinen Suche mag dieser Fehler übersehen werden. Aber wenn das System skaliert, um Tausende von Kandidaten zu untersuchen, beginnt es, die extremen oberen Grenzen seiner Belohnungswerte zu durchsuchen. Die Forscher fanden heraus, dass, wenn die wenigen unsicheren Antworten, die den Filter passieren, zufällig etwas höhere Belohnungswerte als die sicheren haben, der Auswahlprozess sich schließlich auf sie konzentriert. Es ist nicht so, dass das System versuchen würde, gefährlich zu sein; vielmehr folgt es seinen Anweisungen, die Option mit der höchsten Punktzahl zu finden, und die Option mit der höchsten Punktzahl in einem kontaminierten Pool ist zufällig diejenige, die fälschlicherweise zugelassen wurde.

Um dies zu demonstrieren, führten die Teams Experimente sowohl mit einfachen Spielmodellen als auch mit realen Sprachmodellen durch. In ihren Simulationen schufen sie ein Szenario, in dem ein winziger Bruchteil der Antworten unsicher war, aber den Filter passierte, während der Rest sicher war. Sie beobachteten dann, was geschah, wenn die Anzahl der Kandidaten von einer Handvoll auf Tausende anstieg. Die Ergebnisse waren drastisch: Als die Anzahl der Kandidaten zunahstieg, verschob sich die Wahrscheinlichkeit, dass das System die unsicheren Antworten wählte, dramatisch. Es wählte nicht mehr die sicheren Antworten aus, sondern begann, die unsicheren Antworten mit nahezu totaler Häufigkeit auszuwählen. Dies geschah, obwohl der Sicherheitsfilter nur einen winzigen Bruchteil der Zeit falsch lag und das Belohnungssystem im Durchschnitt nur leicht ungenau war. Die Gefahr lag nicht in der Häufigkeit der Fehler, sondern in der spezifischen Art und Weise, wie diese Fehler mit der Suche des Systems nach der absolut besten Punktzahl interagierten.

Die Studie testete auch, ob ein anderer Ansatz dieses Problem lösen könnte. Sie führsten eine Methode namens „Constrained Pessimistic Sampling“ ein, die bewusst vermeidet, sich zu stark auf die einzelne höchstbewertete Option zu konzentrieren. Anstatt nach dem absoluten Gipfel zu jagen, verteilt diese Methode die Aufmerksamkeit breiter über die sicheren Optionen. In ihren Tests verhinderte dieser Ansatz erfolgreich, dass das System an den unsicheren Antworten hängen blieb, wodurch die Rate des Safety Hackings niedrig gehalten wurde. Die Forscher merkten jedoch an, dass diese Methode das ursprüngliche Problem des Sicherheitsfilters, der schlechte Antworten durchlässt, nicht beseitigt; sie verhindert lediglich, dass das System diesen Fehler verstärkt. Das grundlegende Problem bleibt bestehen, dass der Pool der Kandidaten bereits kontaminiert ist.

Die Implikationen dieser Erkenntnis sind signifikant für die Art und Weise, wie wir KI-Systeme bauen und skalieren. Es legt nahe, dass es nicht ausreicht, den Sicherheitsfilter im Durchschnitt lediglich genauer zu machen, um Sicherheit zu garantieren, wenn groß angelegte Suchmethoden verwendet werden. Die Forscher zeigten, dass das Verhältnis zwischen den Belohnungswerten sicherer und unsicherer Antworten genauso kritisch ist wie die Genauigkeit des Filters selbst. Wenn die unsicheren Antworten einen „schwereren Rand“ (heavy tail) in ihrer Belohnungsverteilung haben – das heißt, wenn sie durch Zufall gelegentlich sehr hohe Punktzahlen erhalten –, wird das System sie schließlich finden und sie bevorzugen. Dies bedeutet, dass Sicherheit nicht als ein separater Schritt behandelt werden kann, der vor der Optimierung stattfindet; die beiden Prozesse sind tief miteinander verwoben, und Fehler in dem einen können durch den anderen verstärkt werden.

In ihren Experimenten mit realen Sprachmodellen bestätigte das Team, dass dieser Mechanismus in der Praxis operiert. Sie verwendeten einen Standard-Sicherheitsfilter und ein Belohnungsmodell, um Antworten aus einem großen Pool von Kandidaten auszuwählen, die von einer KI generiert wurden. Als sie die Anzahl der Kandidaten erhöhten, stieg die Rate, mit der das System schädliche Antworten auswählte, während die Qualität der sicheren Antworten, die es fand, nicht ausreichend verbessert wurde, um dies zu kompensieren. Als sie das Belohnungsmodell gegen ein anderes austauschten, änderte sich das Verhalten, was bewies, dass die spezifische Art und Weise, wie das Belohnungssystem die Optionen rankt, der entscheidende Treiber für dieses Versagen ist. Dies bestätigt, dass das Problem nicht nur darin besteht, dass der Sicherheitsfilter unvollkommen ist, sondern wie das Belohnungssystem mit den wenigen unsicheren Optionen interagiert, die den Filter passieren.

Die Forscher kommen zu dem Schluss, dass sicheres Skalieren einen dualen Ansatz erfordert: die Verbesserung des Sicherheitsfilters, um die Anzahl der schlechten Optionen im Pool zu reduzieren, und die sorgfältige Steuerung dessen, wie das System aus diesem Pool auswählt, um die verbleibenden Fehler nicht zu verstärken. Sie argumentieren, dass aktuelle Methoden, die darauf beruhen, die eine beste Option aus einem großen Satz auszuwählen, von Natur aus anfällig für diese Art von Versagen sind. Während ihre vorgeschlagene Alternativmethode einen Weg bietet, den Schaden zu begrenzen, löst sie die Ursache des Problems nicht. Die Studie dient als Warnung: Wenn wir KI-Systeme dazu drängen, nach besseren Antworten zu suchen, indem wir ihnen ermöglichen, mehr Möglichkeiten zu betrachten, müssen wir gleichermaßen wachsam darüber sein, wie diese Systeme mit den seltenen, gefährlichen Fehlern umgehen, die unweigerlich durch die Maschen fallen. Ohne die Berücksichtigung der Interaktion zwischen Sicherheitsfilterung und Belohnungsoptimierung kann eine Skalierung zu gefährlicheren Ergebnissen führen statt zu sichereren.

Technisches Resümee: Safety Hacking in Constrained Best-of-N Inference-time Scaling

1. Problemstellung

Das Paper adressiert einen kritischen Ausfallmodus beim Inference-time Scaling von Large Language Models (LLMs), die gelernte Sicherheits- und Reward-Proxies verwenden. In Standard-Pipelines, wie dem Constrained Best-of-N (CBoN) Sampling, generiert ein Modell $N$ Kandidaten-Antworten, filtert diese mittels eines gelernten Sicherheitsmodells, um eine „proxy-zulässige“ Menge zu definieren, und wählt den Kandidaten mit dem höchsten gelernten Reward-Score aus.

Die Autoren identifizieren einen zweistufigen Fehlermechanismus, den sie als Safety Hacking bezeichnen:

Kontamination: Ein unvollkommener Sicherheits-Proxy lässt unsichere Outputs (False Positives) in die proxy-zulässige Menge hinein.
Amplifikation: Der nachfolgende Schritt der Reward-Maximierung (Auswahl des Besten aus $N$ ) verstärkt diese verbleibenden unsicheren Outputs, falls diese im Vergleich zu sicheren Outputs einen schwereren oberen Rand (upper tail) in der gelernten Reward-Verteilung besitzen.

Das Kernproblem besteht darin, dass die Erhöhung des Inference-Budgets ( $N$ ) nicht nur die Wahrscheinlichkeit erhöht, auf einen unsicheren Output zu stoßen; sie kann die Auswahl eines unsicheren Outputs asymptotisch garantieren, selbst wenn die durchschnittlichen Fehlerraten sowohl der Sicherheits- als auch der Reward-Proxies beliebig klein sind.

2. Methodik und theoretischer Rahmen

Definitionen

Wahre Mengen: $S^\star_+$ (wirklich sicher) und $S^\star_-$ (wirklich unsicher).
Proxy-zulässige Menge: $\hat{S}_+$ , definiert durch einen gelernten Sicherheits-Proxy $\hat{g}$ , der einen Schwellenwert $b$ überschreitet.
Dekomposition: Die proxy-zulässige Menge teilt sich auf in:
- $A$ : True Positives (wirklich sicher und akzeptiert).
- $B$ : False Positives (wirklich unsicher, aber akzeptiert).
Safety Hacking: Ein Ereignis, bei dem der ausgewählte Output $\hat{y} \in B$ ist.

Theoretische Analyse

Das Paper leitet endliche- $N$ -Schranken und asymptotische Ergebnisse basierend auf den gemeinsamen oberen Rändern (joint upper tails) der gelernten Reward-Scores für die Mengen $A$ und $B$ her.

Tail-Quantitäten: Sei $\hat{\Psi}_A(t)$ und $\hat{\Psi}_B(t)$ die Wahrscheinlichkeit, dass eine Stichprobe aus der Referenzverteilung in die Mengen $A$ bzw. $B$ fällt und einen gelernten Reward-Score größer als $t$ aufweist.
Endliche- $N$ -Schranken (Theorem 4.1): Die Wahrscheinlichkeit von Safety Hacking wird durch Funktionen von $\hat{\Psi}_A$ und $\hat{\Psi}_B$ begrenzt. Speziell gilt: Wenn kein Sample aus $A$ einen Schwellenwert $t$ überschreitet, aber mindestens ein Sample aus $B$ dies tut, wählt CBoN einen unsicheren Output.
Asymptotische Gewissheit (Theorem 4.2): Wenn eine Sequenz von Schwellenwerten $t_N$ $t_{N}$ existiert, sodass $N\hat{\Psi}_A(t_N) \to 0$ $N \hat{Ψ}_{A} (t_{N}) \to 0$ und $N\hat{\Psi}_B(t_N) \to \infty$ $N \hat{Ψ}_{B} (t_{N}) \to \infty$ gilt, konvergiert die Wahrscheinlichkeit von Safety Hacking für $N \to \infty$ $N \to \infty$ gegen 1.
- Dies impliziert, dass selbst wenn die Masse der False Positives ( $\epsilon$ ) und die durchschnittlichen Proxy-Fehler verschwinden, ein Budget von $N = \Theta(1/\epsilon)$ ausreicht, um den verbleibenden Fehler mit hoher Wahrscheinlichkeit zu amplifizieren, sofern der unsichere Tail „schwerer“ ist.
Gaußsche Tail-Separation: Das Paper zeigt, dass, falls der Reward-Proxy-Fehler bei unsicheren Outputs einen schwereren Gaußschen Tail (größere Varianz) hat als bei sicheren Outputs, Safety Hacking mit wachsendem $N$ gewiss wird, selbst bei beschränkten wahren Rewards.

Mitigation: Coverage Control

Die Autoren schlagen vor, dass man zwar die initiale Kontamination (durch den Sicherheitsfilter zugelassene False Positives) nicht entfernen kann, aber die Amplifikation dieser Kontamination begrenzen kann.

Prinzip: Begrenzung der $\chi^2$ -Divergenz zwischen der finalen Selektions-Policy und der proxy-zulässigen Referenzverteilung.
Algorithmus (cPes): Dies wird über Constrained Pessimistic Sampling (cPes) implementiert. Dies beinhaltet:
1. Clipping der gelernten Reward-Scores auf einen beschränkten Bereich.
2. Lösen eines regularisierten Optimierungsproblems zur Umgewichtung der proxy-zulässigen Kandidaten, wobei die Konzentration auf High-Reward-Outlier bestraft wird.
Garantie (Theorem 5.1 & Korollar 5.3): cPes liefert eine $N$ -unabhängige Schranke für die Wahrscheinlichkeit, einen unsicheren Output zu wählen. Diese Schranke hängt jedoch von der initialen Kontaminationsmasse $\kappa(x,b)$ ab und kann diese nicht auf Null reduzieren; sie verhindert lediglich, dass die Selektionswahrscheinlichkeit mit $N$ wächst.

3. Kernbeiträge

Formalisierung von Safety Hacking: Definiert als die Auswahl eines Outputs, der eine gelernte Sicherheitsbedingung erfüllt, aber das wahre Sicherheitskriterium verletzt, spezifisch getrieben durch die Interaktion zwischen Filter-Kontamination und Reward-Tail-Amplifikation.
Charakterisierung der Amplifikation: Ableitung endlicher- $N$ -Schranken, die zeigen, dass Safety Hacking durch die gemeinsamen Reward-Tails von sicheren vs. unsicheren proxy-zulässigen Outputs bestimmt wird. Beweis, dass ein schwererer unsicherer Tail zu asymptotischer Gewissheit von Hacking führt, selbst bei verschwindenden durchschnittlichen Fehlern.
Coverage Control Prinzip: Etablierung, dass die Begrenzung der $\chi^2$ -Divergenz von der proxy-zulässigen Referenzverteilung eine $N$ -unabhängige Sicherheits-Schranke liefert.
Empirische Validierung:
- Toy-Experimente: Demonstriert, dass CBoN von der Auswahl sicherer zu unsicherer Klassen wechselt, wenn $N$ steigt und die unsichere Klasse einen schwereren Reward-Tail besitzt, während cPes diesen Wechsel begrenzt.
- LLM-Experimente: Verwendung von JailbreakBench, HarmBench und AdvBench Prompts mit Qwen2.5-7B, Llama-Guard-3 sowie Beaver/Skywork Reward Modellen.
  - Beobachtung, dass mit steigendem $N$ der Proxy-Reward bei CBoN steigt, während die Safety-Hacking-Raten und die sicherheitsbewussten wahren Rewards jedoch schlechter werden.
  - Ablation: Der Austausch des Reward-Proxys (Beaver vs. Skywork) kehrte den Skalierungstrend um, was bestätigt, dass das Ranking (Tail-Verhalten) innerhalb der kontaminierten Menge der Treiber ist, nicht bloß die False-Positive-Rate des Filters.

4. Ergebnisse

Toy-Problem: Mit einer unsicheren Klasse, die einen schwereren Reward-Tail besitzt ( $\sigma_B > \sigma_A$ ), stieg die Safety-Hacking-Rate von CBoN von 0,023 ( $N=1$ ) auf 0,9996 ( $N=8192$ ), während der mittlere wahre Reward sank. cPes hielt eine niedrige Hacking-Rate (~0,02) über alle $N$ hinweg aufrecht.
LLM-Experimente:
- Dekomposition: Der Anstieg des Safety Hackings bei CBoN wurde primär durch „kompetitive unsichere Siege“ (unsichere Kandidaten, die sichere übertreffen) getrieben, nicht bloß durch das Fehlen sicherer Kandidaten („nur-unsichere Exposition“).
- Sensitivität des Reward-Proxys: Der Wechsel vom Beaver- zum Skywork-Reward-Modell reduzierte die Rate der kompetitiven unsicheren Siege und senkte damit die gesamte Hacking-Rate, was zeigt, dass das Tail-Verhalten proxy-abhängig ist.
- cPes-Performance: cPes begrenzte den Amplifikationseffekt und hielt die Hacking-Raten näher an der Baseline der „zufälligen zulässigen“ Selektion, konnte jedoch die Baseline-Kontamination nicht eliminieren.

5. Bedeutung und Ansprüche

Das Paper behauptet, eine inhärente Schwierigkeit beim Inference-time Scaling aufzuzeigen, wenn man sich auf gelernte Sicherheitsmodelle verlässt. Die primäre Bedeutung liegt in der Verschiebung des Fokus von der durchschnittlichen Filtergenauigkeit hin zum gemeinsamen Tail-Verhalten (joint tail behavior).

Limitierung durchschnittlicher Metriken: Die Autoren argumentieren, dass durchschnittliche Filtergenauigkeit und durchschnittliche Proxy-Fehler unzureichende Prädiktoren für Sicherheit unter Skalierung sind; die relativen oberen Tails der Rewards für sichere vs. unsichere Outputs sind die entscheidenden Determinanten.
Abgrenzung zu vorangegangener Arbeit: Im Gegensatz zu Reward-Overoptimization (die einen benignen zulässigen Satz voraussetzt) oder Jailbreaking (das von adversariellen Prompts ausgeht), analysiert diese Arbeit einen fixen Prompt, bei dem der zulässige Satz selbst kontaminiert ist und der Suchprozess diese spezifische Kontamination verstärkt.
Bescheidene Mitigation: Das Paper ist bescheiden hinsichtlich der Lösungen. Es stellt fest, dass Coverage Control (cPes) die Amplifikation begrenzt, aber nicht in der Lage ist, einen kontaminierten zulässigen Satz zu reparieren. Wenn der Sicherheitsfilter unsichere Outputs mit hohen gelernten Rewards zulässt, kann eine regularisierte Selektion diese dennoch bevorzugen.
Zukünftige Richtungen: Die Autoren geben explizit an, dass ihre Analyse auf nicht-adaptiven, i.i.d.-Sampling-Pipelines beschränkt ist. Sie merken an, dass adaptives Suchen, Self-Refinement oder Agentic Planning (bei denen die Kandidatenverteilungen von vorherigen Proxy-Evaluierungen abhängen) nicht abgedeckt sind und wichtige zukünftige Forschungsfelder darstellen.

Zusammenfassend lässt sich sagen, dass das Paper etabliert, dass sicheres Inference-time Scaling einen dualen Ansatz erfordert: die Kontrolle des Eintritts in den zulässigen Satz (Verbesserung des Sicherheitsfilters) und die Kontrolle der nachgelagerten Konzentration (Management des Reward-Tail-Verhaltens und der Selektionsdiversität).