Predict, Don't React: Value-Based Safety Forecasting for LLM Streaming

Probleemstelling

In de huidige praktijk van Large Language Model (LLM) implementaties wordt vaak één enkele "guardrail" (veiligheidsfilter) gebruikt voor zowel input- als output-moderatie. Er bestaat echter een fundamenteel verschil in observabiliteit tussen deze twee scenario's:

• Input-moderatie: Werkt op volledig waargenomen tekst.
• Output-moderatie (Streaming): Vereist veiligheidsbeslissingen op basis van gedeeltelijke generaties (prefixen) voordat de volledige reactie beschikbaar is.

Bestaande methoden voor streaming-moderatie (zoals Qwen3Guard-Stream) formuleren dit probleem als grensdetectie (boundary detection). Deze modellen proberen het vroegste prefix te identificeren waarop een reactie expliciet onveilig is geworden. Dit heeft echter enkele nadelen:

1. Latentie: Interventie gebeurt pas nadat de schadelijke inhoud al zichtbaar is geworden.
2. Aanwijzingskosten: Het vereist exacte token-niveau annotaties van waar de onveiligheid begint, wat duur en tokenizer-afhankelijk is.
3. Foutgevoeligheid: Als een model wacht tot een expliciete overtreding zichtbaar is, kan er al schade zijn aangericht.

Methodologie: StreamGuard

De auteurs introduceren StreamGuard, een model-onafhankelijke streaming guardrail die moderatie herformuleert als een voorspellingsprobleem (forecasting problem) in plaats van reactieve grensdetectie.

Kernidee:
In plaats van te wachten tot een prefix onveilig is, schat StreamGuard voor elk geobserveerd prefix de verwachte schadelijkheid van waarschijnlijke toekomstige voortzettingen. Het model voorspelt dus of de toekomstige kans op een onveilige voltooiing hoog is, zelfs als de huidige tekst nog onschuldig lijkt.

Technische Implementatie:

1. Prefix-geconditioneerde Veiligheidswaarde:
   Voor een prompt $x$ en een geobserveerd prefix $y_{\le t}$, wordt de doelwaarde gedefinieerd als de verwachte schadelijkheid van mogelijke toekomstige voortzettingen:
   $$V^*(x, y_{\le t}) = \mathbb{E}_{\tilde{y}_{t+1:T} \sim q} [O(x, y_{\le t} \parallel \tilde{y}_{t+1:T})]$$
   Waarbij $O$ een veiligheids-judge is en $q$ een verdeling van mogelijke toekomstige voortzettingen.

2. Monte Carlo Rollouts:
   Omdat de verwachting exact niet te berekenen is, benadert StreamGuard dit met Monte Carlo rollouts. Voor een prefix worden $M$ mogelijke toekomstige voortzettingen gegenereerd (gesampled), beoordeeld door een offline veiligheids-judge, en gemiddeld. Dit resulteert in een zachte doelwaarde (soft target) tussen 0 en 1.

   • Prefixen die vaak leiden tot schadelijke voortzettingen krijgen een hoge score, zelfs voordat expliciet verboden tekst verschijnt.
   • Prefixen die meestal onschuldig blijven, krijgen een lage score, zelfs als de uiteindelijke gegenereerde reactie per ongeluk onveilig is.

3. Trainingsdoel:
   Het model wordt getraind om deze voorspelde risico-score te minimaliseren met behulp van binaire cross-entropy, waarbij het doel is om de verwachte toekomstige risicoscore nauwkeurig te schatten voor elke stap in de generatie.

4. Portabiliteit:
   Omdat de supervisie gebaseerd is op tekst-prefixen en zachte toekomstige risico-doelen (in plaats van tokenizer-specifieke indexen), kan de trainingdata en het model makkelijk worden overgedragen naar verschillende tokenizers en model-families.

Belangrijkste Bijdragen

1. StreamGuard: Een unificatie van input- en streaming output-moderatie met een nieuwe, op voorspelling gebaseerde formulering die afwijkt van traditionele grensdetectie.
2. Prestatieverbetering: Het aantonen dat voorspellende supervisie leidt tot betere end-to-end moderatieprestaties, zowel voor standaard input/output benchmarks als voor het detecteren van onveilige gebeurtenissen in streaming.
3. Transfer Learning: Het bewijzen dat deze voorspellende supervisie effectief overdraagt naar verschillende model-families (Gemma, Qwen) en tokenizers, zonder dat de onderliggende architectuur hoeft te veranderen.
4. Ablatie-studies: Gedetailleerde analyse van hoe factoren zoals de aggregatieregel (reduction), de samenstelling van de rollout-generators en de dichtheid van de supervisie de prestaties beïnvloeden.

Resultaten

StreamGuard werd geëvalueerd op diverse benchmarks en vergeleken met sterke baselines zoals Qwen3Guard-Stream.

• Input-moderatie: Op de 8B schaal verbeterde StreamGuard de geaggregeerde F1-score van input-moderatie van 86,7 naar 88,2 (vergeleken met Qwen3Guard-Stream-8B-strict).
• Streaming Output-moderatie: De geaggregeerde F1-score voor streaming output steeg van 80,4 naar 81,9.
• Tijdstip van Interventie (QWENGUARDTEST):
  • StreamGuard (8B) bereikte een F1 van 97,5 en een recall van 95,1.
  • Het percentage "on-time" interventies (voordat de onveilige zin eindigt) steeg van 89,9% naar 92,6%.
  • Het percentage gemiste onveilige reacties (miss rate) daalde van 7,9% naar 4,9%.
• Transfer naar andere modellen:
  • Gemma3-StreamGuard-1B (overgedragen van Llama3-training) bereikte een output-moderatie F1 van 81,3 en een miss rate van slechts 3,5%.
  • Dit toont aan dat de methode robuust is over tokenizer-grenzen heen.
• Latentie: De beslissingstijd varieerde van 2,4 ms tot 9,5 ms. In een gepipelined setting (waar de guardrail parallel draait met de generator) blijven alle guardrails sneller dan de token-generatie, wat zorgt voor lage latentie en geen blokkering van de stroom.

Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in hoe we veiligheidsmoderatie voor streaming LLM's benaderen. Door te verschuiven van "reageren op een zichtbare overtreding" naar "voorspellen van toekomstig risico", kunnen systemen vroeger ingrijpen zonder dat ze exacte grensannotaties nodig hebben.

De belangrijkste implicaties zijn:

• Vroegere Interventie: Onveilige content kan worden geblokkeerd voordat deze volledig is gegenereerd of zelfs maar expliciet zichtbaar is voor de gebruiker.
• Kostenefficiëntie: Het elimineert de noodzaak voor dure, tokenizer-specifieke grensannotaties.
• Flexibiliteit: De methode is model-onafhankelijk en werkt goed over verschillende LLM-families en tokenizers heen, wat het zeer geschikt maakt voor diverse productomgevingen.

StreamGuard demonstreert dat "voorspellen" (predict) een superieure strategie is voor streaming-veiligheid ten opzichte van "reageren" (react), en biedt een praktische, schaalbare oplossing voor real-time LLM-beveiliging.