💬 NLP

Beyond "I cannot fulfill this request": Alleviating Rigid Rejection in LLMs via Label Enhancement

Dit artikel stelt LANCE voor, een methode die variatie-inferentie toepast voor labelverbetering om fijnmazige afwijzingsverdelingen te voorspellen, waardoor Groot Taalmodellen veilige, natuurlijke antwoorden kunnen genereren die starre afwijzingen vermijden terwijl hoge beveiligingsnormen worden gehandhaafd.

Oorspronkelijke auteurs: Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

Gepubliceerd 2026-05-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ying Zhang, Congyu Qiao, Xin Geng, Ning Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, behulpzame robotassistent hebt. Je stelt hem een vraag die bijna veilig is, maar misschien een gevoelig onderwerp raakt. In plaats van je een behulpzaam antwoord met een kleine waarschuwing te geven, raakt de robot in paniek en zegt telkens dezelfde robotachtige zin: "Ik kan dit verzoek niet vervullen."

Dit noemt het artikel "stijle afwijzing". Het is als een portier in een club die iedereen de deur uit zet omdat ze een enigszins riskante hoed dragen, zelfs als ze er gewoon zijn om te dansen. De robot is zo bang om een fout te maken dat hij stopt met behulpzaam te zijn.

De auteurs van dit artikel hebben een nieuw systeem gebouwd dat LANCE heet om dit op te lossen. Hier is hoe het werkt, met eenvoudige analogieën:

1. Het Probleem: De "Alles-of-Niets" Schakelaar

Momenteel werken de meeste veiligheidssystemen als een simpele lichtschakelaar: AAN (Veilig) of UIT (Onveilig).

Als het systeem een riskant woord ziet, zet het de schakelaar op "UIT" en stopt het gesprek.
Het probleem is dat veel vragen niet puur "slecht" zijn. Ze kunnen een mix zijn van een onschuldig idee en een riskant detail. Het huidige systeem ziet de nuance niet, dus blokkeert het gewoon alles.

2. De Oplossing: LANCE (De "Dimmer" of Volumeknop)

LANCE vervangt die simpele lichtschakelaar door een dimmer of een volumeknop. In plaats van alleen "Slecht" of "Goed" te zeggen, vraagt het: "Hoe riskant is dit, en welk deel precies is riskant?"

Labelverbetering (De Detective): LANCE gebruikt een speciaal hulpmiddel (Variational Inference) om een vraag te bekijken en uiteen te leggen. In plaats van een simpele "Ja/Nee"-label, creëert het een continu risicokaart.
- Analogie: Stel je een weersvoorspelling voor. Oude systemen zeiden alleen "Regen" of "Geen Regen". LANCE zegt: "Er is 20% kans op lichte motregen in het noorden, maar in het zuiden is het zonnig." Het weet waar het gevaar zit en hoe groot het gevaar is.

3. Het Proces: De "Chirurgische Redacteur"

Zodra LANCE precies weet waar het risico zit en hoe groot het is, verwijdert het niet gewoon het hele gesprek. Het fungeert als een chirurgische redacteur.

De Gradiëntgids: LANCE geeft de robot een set instructies op basis van de risicokaart.
- Als het risico klein is (zoals lichte motregen), vertelt het de robot om een kleine, beleefde aanpassing aan de zin te maken.
- Als het risico groot is (zoals een storm), vertelt het de robot om een grotere verandering te maken.
Het Resultaat: De robot herschrijft de vraag van de gebruiker precies genoeg om het veilig te maken, maar behoudt de oorspronkelijke betekenis en toon.
- Oude Manier: Gebruiker vraagt: "Hoe hack ik het wifi-netwerk van mijn buurman?" -> Robot: "Ik kan dit verzoek niet vervullen."
- LANCE Manier: De robot realiseert zich dat het "hacken" riskant is, maar dat "het wifi-netwerk van mijn buurman" gewoon nieuwsgierigheid is. Het herschrijft de gedachte naar: "Ik kan niet helpen met hacken, maar ik kan uitleggen hoe wifi-beveiliging werkt zodat je je eigen netwerk kunt beschermen."

4. Het Resultaat: Veilig maar Natuurlijk

Het artikel testte dit systeem uit tegen andere veiligheidsmethoden en ontdekte dat LANCE veel beter is in twee dingen:

Veiligheid: Het stopt nog steeds de echt gevaarlijke dingen (het is net zo veilig als de strenge robots).
Behulpzaamheid & Natuurlijkheid: Het voorkomt dat de robot als een gebroken plaat klinkt. De gesprekken voelen menselijker aan omdat de robot probeert te helpen in plaats van alleen maar "Nee" te zeggen.

Samenvatting

Zie LANCE als het leren van een robot om een diplomaat te zijn in plaats van een portier.

De Portier (Oud Systeem) ziet een riskante hoed en zegt: "Geen toegang!"
De Diplomaat (LANCE) ziet de riskante hoed, zegt: "Die hoed is een beetje riskant voor dit feest, maar laten we hem ruilen voor een veiligere zodat je toch binnen kunt komen en kunt dansen."

Het artikel beweert dat deze methode AI veiliger maakt zonder het vervelend of onbehulpzaam te maken, en zo het probleem oplost van robots die te bang zijn om met ons te praten.

Technische Samenvatting: Voorbij "Ik kan dit verzoek niet uitvoeren": Verlichting van Rigid Afwijzing in LLM's via Label Enhancement

Probleemstelling
Grote Taalmodellen (LLM's) vertrouwen op veiligheidsuitlijning om schadelijke verzoeken te weigeren terwijl ze onschadelijke beantwoorden. Echter, huidige mechanismen lijden vaak onder "rigide afwijzing", gekenmerkt door twee primaire beperkingen: (1) Over-defensieve afwijzing, waarbij onschadelijke, academische of educatieve vragen over gevoelige onderwerpen indiscriminaat worden geblokkeerd; en (2) Mechanistische antwoordsjablonen, waarbij modellen generieke, robotachtige afwijzingen produceren (bijvoorbeeld "Ik kan dit verzoek niet uitvoeren"), ongeacht het specifieke risiconiveau of de context. Deze rigiditeit vloeit voort uit bestaande uitlijningsstrategieën die vertrouwen op grofkorrelige binaire veiligheidslabels of discrete scalaire beloningen. Deze signalen missen interpreteerbaarheid en directionele begeleiding, waardoor modellen niet in staat zijn risicovolle componenten nauwkeurig te identificeren of schadelijke elementen te verfijnen, wat ten koste gaat van de natuurlijkheid en nuttigheid van mens-AI-interacties.

Methodologie: Het LANCE-kader
Het artikel stelt LANCE (Llm rejection via lAbel eNhanCemEnt) voor, een kader dat is ontworpen om rigide binaire oordelen te vervangen door flexibele, natuurlijke antwoorden via Label Enhancement. De methodologie bestaat uit twee kerncomponenten:

Label Enhancement via Variational Inference:
In plaats van binaire labels ($0$ of $1$) te gebruiken, maakt LANCE gebruik van een variational inference-netwerk om grofkorrelige veiligheidslabels om te zetten in een continue, ontkoppelde risicodistributie ( $d \in [0, 1]^c$ ) over meerdere afwijzingscategorieën.
- Architectuur: Het systeem gebruikt een gedeelde RoBERTa-gebaseerde encoder om contextkenmerken uit prompt-antwoordparen te extraheren. Deze kenmerken worden geprojecteerd in twee parallelle latente ruimten: een semantische ruimte ( $z$ , gemodelleerd als een Gaussische verdeling) en een risicoruimte ( $d$ , gemodelleerd als een Beta-verdeling).
- Ontkoppeling: Door statistische onafhankelijkheid aan te nemen tussen semantische inhoud en veiligheidsbeperkingen in de posterior, leert het model risicointensiteit te isoleren zonder de onderliggende linguïstische betekenis te veranderen.
- Trainingsdoel: Het model wordt getraind om de Evidence Lower Bound (ELBO) te maximaliseren, reconstructieverliezen voor zowel semantische kenmerken als binaire risicolabels te minimaliseren, samen met KL-divergentie regularisatie om prior-verdelingen af te dwingen. Een aanvullende regularisatieterm zorgt ervoor dat de afgeleide continue distributie blijft overeenkomen met de grondwaarheid binaire supervisie.
Fijnkorrelige Risico-gestuurde Prompt-verfijning:
De continue risicodistributie $d$ dient als diagnostisch signaal voor een verfijningsmodel (bijvoorbeeld Qwen2.5-1.5B).
- Drempelwaarden: Het systeem stelt drempels ( $\tau, \tau_{low}, \tau_{high}$ ) in om risiconiveaus te categoriseren als "Minor", "Mild" of "Critical".
- Tekstuele Gradiënten: Op basis van de risicocategorie en -intensiteit genereert het systeem specifieke tekstuele gradiënten (bijvoorbeeld "Herschrijf dit gedeelte om minder agressief te zijn") met behulp van een sjabloon $T(y_j, d_j, e_j)$ .
- Iteratieve Optimalisatie: Met een TextGrad-gebaseerde aanpak herschrijft het verfijningsmodel de gebruikersprompt iteratief. Het neutraliseert chirurgisch gevaarlijke elementen terwijl het de oorspronkelijke semantische intentie behoudt, waardoor onveilige invoer wordt omgezet in veilige, nuttige en natuurlijke vragen zonder een harde afwijzing te triggeren.

Belangrijkste Bijdragen

Novel Kader: Introductie van LANCE, dat veiligheidsuitlijning verschuift van eenvoudige binaire oordelen naar continue distributies over meerdere afwijzingscategorieën.
Label Enhancement: Een mechanisme om binaire afwijzingslabels om te zetten in gedetailleerde, fijnkorrelige distributies, waardoor de identificatie van specifieke gevaarlijke semantische componenten en hun nauwkeurige correctie mogelijk wordt.
Verfijningsmodel: Implementatie van een gradiënt-gedreven verfijningsproces dat deze distributies gebruikt om alleen gevaarlijke elementen te reinigen, waardoor LLM's veilige antwoorden kunnen genereren die robotachtige sjablonen vermijden terwijl de conversationele natuurlijkheid behouden blijft.

Experimentele Resultaten
De auteurs evalueerden LANCE op de BeaverTails-dataset (14 onveilige categorieën) met behulp van drie geablateerde backbones (Llama3-8B, Llama3.1-8B, Qwen2.5-7B) en vergeleken het met vijf baselines: Vanilla (niet-uitgelijnd), RepE (latente sturing), SysPrompt (safety in-context), SelfRefine (iteratieve kritiek) en Officiële Instruct-modellen (RLHF-uitgelijnd).

Veiligheid versus Nuttigheid Trade-off: Hoewel Officiële Instruct-modellen hoge veiligheidsscores behaalden (bijvoorbeeld 9,55 op Llama-3), daalden hun nuttigheidsscores drastisch (3,41), wat wijst op ernstige rigide afwijzing. LANCE behaalde vergelijkbare veiligheid (9,23) terwijl het de nuttigheid (7,89) en natuurlijkheid (8,69) significant herstelde.
Vergelijking met Commerciële Modellen: Bij vergelijking met top-tier commerciële modellen (GPT-4o, Gemini 2.5-Pro) toonde LANCE superieure nuttigheid (7,88 versus 3,58 voor GPT-4o) terwijl het concurrerende veiligheid behield (9,55), wat bewijst dat schaal niet de enige voorwaarde is voor effectieve uitlijning.
Ablatiestudies: Het verwijderen van de verfijningsslus (LANCE-NR) resulteerde in slechte veiligheid (4,57). Het verwijderen van fijnkorrelige begeleiding (LANCE-NF) verbeterde de veiligheid, maar slaagde er niet in de nuttigheid en natuurlijkheid van de volledige methode te evenaren, wat bevestigt dat een continue risicodistributie essentieel is om rigide afwijzingen te voorkomen.

Betekenis en Claims
Het artikel beweert dat rigide afwijzing geen onvermijdelijk gevolg is van veiligheidsuitlijning. Door veiligheidsdoelstellingen te ontkoppelen van algemene instructie-opvolging via ontkoppelde latente variabelen, biedt LANCE een robuuste oplossing die modelnuttigheid en natuurlijkheid herstelt. Het kader demonstreert dat het vervangen van grofkorrelige afwijzingsfilters door een precieze, risico-gestuurde iteratieve optimalisatieproces modellen in staat stelt veiligheidsgrenzen intelligent te navigeren, waardoor genuanceerde antwoorden worden gegenereerd die zowel onschadelijk als constructief zijn. De auteurs positioneren dit werk als een stap in de richting van het verlichten van de "alignment tax" die momenteel de prestaties van op veiligheid afgestemde modellen degradeert.