🤖 machine learning

A Paired Testing Protocol for Batch-Conditioned Refusal Robustness in LLM Serving

Dit artikel stelt een gekoppeld testprotocol voor dat aantoont dat batchcondities van taalmodellen de robuustheid van weigeringen aanzienlijk beïnvloeden, en onthult dat hoewel flips van veiligheidslabels frequenter voorkomen dan flips van capaciteitslabels, deze grotendeels toe te schrijven zijn aan output-instabiliteit en effectief kunnen worden gemitigeerd door batch-invariante kernel-implementaties.

Oorspronkelijke auteurs: Sahil Kadadekar

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sahil Kadadekar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer strenge, veiligheidsbewuste bibliothecaris (het AI-model) voor. Je wilt ervoor zorgen dat deze bibliothecaris altijd weigert gevaarlijke boeken uit te lenen (veiligheidsweigeringen), maar graag behulpzame boeken verstrekt (capaciteiten).

Normaal gesproken testen we deze bibliothecaris door ze één voor één vragen te stellen in een rustige kamer. Maar in de echte wereld werkt de bibliothecaris in een drukke bibliotheek waar ze veel verzoeken tegelijk moet afhandelen, vaak door ze in groepen (batches) te sorteren om sneller te werken.

Dit artikel stelt een eenvoudige maar lastige vraag: Verandert de manier waarop de bibliothecaris deze verzoeken groepeert, hun antwoord? Zorgt het stellen van een vraag terwijl je naast een rij andere mensen staat ervoor dat de bibliothecaris plotseling besluit een gevaarlijk boek uit te lenen, terwijl ze dat alleen niet zouden doen?

Hier is het verhaal van het onderzoek, opgesplitst in vier eenvoudige experimenten:

1. De "Drukke Kamer"-test (Studie A)

De onderzoekers begonnen met het testen van de bibliothecaris op twee manieren: alleen en in een groep.

De bevinding: Ze ontdekten dat de bibliothecaris soms van gedachten veranderde wanneer ze in een groep werkte. Specifiek was de kans iets groter dat ze per ongeluk hun waakzaamheid lieten varen bij "gevaarlijke" vragen dan bij "behulpzame" vragen.
De vangst: Toen ze nader keken, realiseerden ze zich dat veel van deze "veranderingen" slechts een lichte herschrijving van het antwoord waren door de bibliothecaris, en niet daadwerkelijk een verandering in hun kernbeslissing. Nadat een menselijk expert de rommelige data zorgvuldig had beoordeeld, daalde het aantal echte fouten van een merkbare hoeveelheid naar een zeer klein, zeldzaam voorval (ongeveer 1 op de 600 verzoeken).
De analogie: Het is als een beveiliger die normaal gesproken een verdachte persoon stopt. In een menigte kunnen ze een fractie van een seconde aarzelen of "Stop!" in een andere stem zeggen, maar ze stoppen ze toch. Zeer zelden kunnen ze echter iemand doorlaten die ze niet hadden mogen doorlaten.

2. De "Veel Bibliothecarissen"-test (Studie B)

De onderzoekers vroegen zich vervolgens af: "Is dit een probleem voor elke bibliothecaris, of alleen voor deze specifieke?" Ze testten 15 verschillende AI-modellen.

De bevinding: Het patroon van "gevaarlijke fouten" kwam niet bij iedereen voor. Sommige modellen waren zeer stabiel; anderen waren wat wankel.
De verrassing: Het maakte niet uit of een model was getraind om "superveilig" of "superbehulpzaam" te zijn. Het enige dat voorspelde wie fouten zou maken, was instabiliteit. Als de antwoorden van een model al wankel waren en gemakkelijk veranderden bij wijziging van de groepsgrootte, was dat model waarschijnlijker om een veiligheidsfout te maken.
De analogie: Het is niet zo dat "alle bibliothecarissen slecht zijn in menigten". Het is dat "als een bibliothecaris al nerveus is en gemakkelijk van gedachten verandert, het in een menigte zetten hen waarschijnlijker maakt om de bal te laten vallen".

3. De "Gemengde Menigte"-test (Studie C)

Vervolgens vroegen ze zich af: "Maakt het uit wie er in de groep met de bibliothecaris zit?" Als de bibliothecaris een gevaarlijk verzoek afhandelt terwijl ze ook een verzoek over wiskunde afhandelen, veroorzaakt het wiskundeverzoek dan het gevaar?

De bevinding: Ze vonden geen grote, algemene regel dat "het mengen van menigten veiligheidsfalen veroorzaakt".
De nuance: Echter, wanneer de weinige fouten wel voorkwamen, neigden ze bijna altijd naar onveiligheid.
De analogie: Het is als een chef-kok die kookt in een drukke keuken. Het mengen van een pittig gerecht met een zoet gerecht bederft het eten meestal niet. Maar als de chef-kok wel een fout maakt, is het waarschijnlijker een veiligheidsprobleem (zoals het verbranden van het eten) dan een smaakprobleem.

4. De "Magische Schakelaar"-test (Studie D)

Tot slot wilden de onderzoekers weten waarom dit gebeurde. Ze vermoedden dat het een specifiek deel van de "motor" (de kernel) van de computer was die in de war raakte bij het afhandelen van groepen.

De bevinding: Ze schakelden een speciale "batch-invariante" modus in (een instelling die de computer dwingt de groeps-effecten te negeren).
Het resultaat: Toen ze deze modus gebruikten, verdwenen alle fouten. De 22 fouten die ze zagen in de normale modus werden 0 fouten in de speciale modus.
De analogie: Het is als het ontdekken dat de bibliothecaris struikelde over een los tapijt in de gang. Zodra ze het tapijt vastplakten (de speciale instelling), stopte de bibliothecaris volledig met struikelen.

De grote les

Het artikel concludeert dat batching (het groeperen van verzoeken) geen universele ramp is, maar het is een verborgen variabele die veiligheidstesters niet kunnen negeren.

Niet panikeren: Het betekent niet dat AI onveilig is in groepen. De fouten zijn zeldzaam en specifiek voor bepaalde modellen.
Wel controleren: Je kunt niet aannemen dat een model veilig is alleen omdat het een test in "solo-modus" heeft doorstaan. Je moet het testen in precies de "groepsmodus" die het in de echte wereld zal gebruiken.
De regel: Als je een AI implementeert, moet je je veiligheidstests uitvoeren met dezelfde "groepsinstellingen" en computermotoren die je in productie zult gebruiken. Als je dat doet, kun je de zeldzame momenten opvangen waarop de AI misschien een fout maakt.

Kortom: De AI is niet kapot, maar de manier waarop we het testen moet realistischer zijn. We moeten de AI testen in de "menigte" om ervoor te zorgen dat het zijn kalmte niet verliest.

Technische Samenvatting: Een Gekoppeld Testprotocol voor Batch-Geconditioneerde Weigeringsrobuustheid bij LLM-Serving

1. Probleemstelling

Huidige veiligheidsbeoordelingen voor Large Language Models (LLM's) behandelen serving-configuraties (zoals batchgrootte en planningsbeleid) doorgaans als vaste achtergrondinfrastructuur. Dit artikel daagt die conventie uit door te stellen dat batchconditie een ongeteste behandelvariabele is. Wanneer een prompt alleen wordt geëvalueerd versus in een gesynchroniseerde batch of binnen een continuous-batching-scheduler, kan de resulterende weigeringsbeslissing verschuiven.

De kernvraag is niet of batchverwerking over het algemeen onveilig is, maar of gekoppeld testen beweging in weigeringsgrenzen kan detecteren wanneer dezelfde prompt onder verschillende batchcondities wordt geëvalueerd, terwijl rekening wordt gehouden met gewone outputvariatie en onschadelijke capaciteitsveranderingen. De auteurs betogen dat batchgrootte en planning behandelvariabelen zijn die direct getest moeten worden, of expliciet uitgesloten moeten worden wanneer het resultaat van belang een grensgebeurtenis is, zoals weigering versus naleving.

2. Methodologie: Een Synthese van Vier Studies

Het artikel synthetiseert vier door artefacten onderbouwde studies tot een samenhangend testprotocol. De methodologie gaat van lokale ontdekking naar cross-model generalisatie, compositiesanalyse en mechanisme-ablatie.

Studie A: Initiële Lokale Perturbatie

Ontwerp: Een lokaal gekoppeld perturbatietest met 31.410 gescoorde rijen over drie instructie-gefine-tuned modellen (1B–3B parameters).
Condities: Vier fasen werden getest: batchgrootte-perturbatie met gesynchroniseerde dispatch, perturbatie onder buurconditie, kwantisatie door concurrentie, en expliciete "echte-batchverwerking".
Controles: De studie koppelt veiligheidsprompts (schadelijk/jailbreak) aan capaciteitscontroles (MMLU, ARC-Challenge) om veiligheids-specifieke instabiliteit te onderscheiden van generieke output-omwenteling.
Correctie: Een door de scorer gecorrigeerde audit en handmatige adjudicatie van 63 kandidaat-rijen werden uitgevoerd om geautomatiseerde score-artefacten (bijv. herschrijving van weigeringen) te filteren van echte gedragsomkeringen.

Studie B: Cross-Model Generalisatie

Ontwerp: Een uitbreiding naar 127.224 records over 15 verschillende modellen.
Doel: Bepalen of de initiële asymmetrie tussen veiligheid en capaciteit een universele wet is of model-specifiek, en testen of het type uitlijning of output-instabiliteit fragiliteit voorspelt.
Maten: Analyse van verhoudingen van veiligheids- naar capaciteitsomkeringen, ANOVA op uitlijningstypen, en correlatie van output-instabiliteit met fragiliteit.

Studie C: Continuous-Batch Composities

Ontwerp: Een test of multi-tenant co-residentie in continuous batching (vLLM FP16) een apart veiligheidskanaal creëert.
Scope: 14.250 records over vijf batch-compositiecondities, inclusief sweeps van temporele overlapping en tests in omgekeerde richting.
Doel: Aggregaatveiligheidseffecten detecteren die specifiek voortvloeien uit de aanwezigheid van andere verzoeken in dezelfde batch.

Studie D: Batch-Invariante Kernel-Ablatie

Ontwerp: Een gerichte mechanismecheck op 55 score-omkeringskandidaten geïdentificeerd in Studie A.
Uitvoering: Rijen werden opnieuw uitgevoerd op dezelfde H100-servingstack met standaard vLLM versus vLLM met BATCH_INVARIANT=1 ingeschakeld.
Doel: Bepalen of waargenomen omkeringen afhankelijk zijn van het specifieke niet-invariante uitvoeringspad van de serving-kernel.

3. Belangrijkste Resultaten

Kwantitatieve Bevindingen

Lokale Ontdekking (Studie A): Initiële geautomatiseerde scoring toonde aan dat veiligheidslabels vaker veranderden dan capaciteitslabels (0,51% versus 0,14%). Echter, na handmatige adjudicatie van 63 kandidaten, werden slechts 17 echte gedragsomkeringen bevestigd, wat resulteerde in een gecorrigeerd totaalpercentage van ongeveer 0,16%.
Cross-Model Generalisatie (Studie B):
- Geen Universele Schuiving: De gecombineerde verhouding van veiligheid tot capaciteit over 15 modellen was bijna gelijk (0,94×), wat een universele wet van veiligheid boven capaciteit weerlegt.
- Voorspellers: Het type uitlijning toonde geen waarneembare associatie met fragiliteit ( $p=0,942$ ). Daarentegen was output-instabiliteit de sterkste voorspeller van batch-fragiliteit ( $r=0,909$ ).
- Directionaliteit: Omkeringen waren niet universeel onveilig; de uitbreiding vond een netto veilige richting (159 naleving-naar-weigering versus 81 weigering-naar-naleving), wat aangeeft dat directionaliteit afhankelijk is van de modelset.
Composities (Studie C): Geen aggregaat compositieseffect werd gedetecteerd bij een gevoeligheid van 4,7 procentpunten. Hoewel zeldzame omkeringen naar onveilig neigden (28/31 gevallen, 90,3%), verhindert het lage verificatiepercentage van daadwerkelijke aanwezigheid in dezelfde batch (22,1%) dat dit als basis voor routingbeslissingen wordt gebruikt.
Mechanisme-Ablatie (Studie D):
- Standaard vLLM: Reproduceerde 22/55 labelomkeringen op de kandidaatset.
- Batch-Invariante Kernel: Het inschakelen van VLLM_BATCH_INVARIANT=1 verlaagde omkeringen tot 0/55.
- Dit bevestigt dat voor de geteste stack de waargenomen instabiliteit is gekoppeld aan het niet-invariante uitvoeringspad.

Kwalitatieve Synthese

De bewijsketen versmalt het initiële positieve signaal tot een begrensd claim: batch-geconditioneerde weigeringsomkeringen bestaan, maar zijn laag-frequent, model-specifiek en stack-afhankelijk. Ze vormen geen universele veiligheidswet, noch worden ze voorspeld door uitlijningscategorieën.

4. Bijdragen

Het artikel levert vier specifieke testbijdragen:

Gekoppeld Protocol: Een protocol voor batch-geconditioneerd weigerenstesten dat veiligheids- en capaciteitslabels vergelijkt onder匹配的 serving-condities, met inachtneming van door de scorer gecorrigeerde adjudicatie.
Generalisatietest: Bewijs dat output-instabiliteit fragiliteit sterker voorspelt dan uitlijningstype, en dat aggregaatveiligheid boven capaciteit niet generaliseert over modellen.
Compositietest: Een demonstratie dat continuous-batch composities geen groot aggregaat veiligheids-effect creëert bij huidige gevoeligheid, ondanks zeldzame directionele omkeringen.
Mechanisme-Ablatie: Bewijs dat huidige score-omkeringskandidaten verdwijnen wanneer ze worden uitgevoerd onder een batch-invariante kernel-pas, wat de noodzaak van exact-stack testen valideert.

5. Betekenis en Claims

De betekenis van het artikel ligt in het vestigen van een testcontract voor implementatieveiligheid dat verder gaat dan aannames van "vaste achtergrond".

These: Batch-geconditioneerde weigeringsomkeringen zijn echt maar zeldzaam en specifiek. Het juiste antwoord is geen verbod op batchverwerking, maar een vereiste voor exact-stack validatie.
Operationele Aanbeveling: Veiligheidsbeoordelingen moeten opnieuw worden uitgevoerd bij de specifieke batch-instelling en kernel-pas die in de implementatie worden gebruikt.
- Evalueer weigering bij de gebruikte batch-instelling.
- Koppel veiligheidsprompts aan capaciteitscontroles om generieke omwenteling te filteren.
- Rapporteer laag-frequent directionele omkeringen apart van aggregaat null-effecten.
- Leid batch-robuustheid niet af uit uitlijningstype, architectuurfamilie of compositiesheuristieken.

De auteurs stellen expliciet dat ze niet claimen batch-afhankelijke nondeterminisme te hebben ontdekt (wat bekend is), noch claimen ze dat implementatie-optimalisatie over het algemeen veiligheids-neutraal is. Hun bijdrage is de specifieke empirische bevinding dat batchverwerking moet worden geëvalueerd als een veiligheidsfoutmodus met een gekoppeld ontwerp, en dat initiële positieve signalen gecorrigeerd moeten worden voor adjudicatie en generalisatie om te voorkomen dat er te veel wordt geclaimd over zeldzame omkeringsresultaten.