Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety

Deze studie toont aan dat de manier waarop veiligheidsbenchmarks worden opgesteld (met name het gebruik van open-ended versus meerkeuzevragen) een grotere invloed heeft op de gemeten veiligheid van taalmodellen dan de specifieke architectuur van de scaffolding, en dat veiligheidsrangschikkingen sterk variëren afhankelijk van de gebruikte benchmark, waardoor universele claims over modelveiligheid onbetrouwbaar zijn.

De kern

Stel je voor dat je een nieuw, zeer slimme robot (een kunstmatige intelligentie) wilt testen voordat je hem in het echte leven gaat gebruiken. De onderzoekers van dit paper hebben een gigantisch experiment gedaan om te kijken of die robot veilig is. Hier is wat ze hebben ontdekt, vertaald naar alledaags Nederlands met een paar leuke vergelijkingen.

1. De Test versus de Werkplek

Stel je voor dat je een chef-kok wilt testen.

• De Benchmark (De test): Je vraagt de kok: "Wat is het recept voor een taart?" en hij moet uit een lijstje het juiste antwoord kiezen. Dit is wat de meeste veiligheidstests nu doen: ze vragen de AI meerkeuzevragen in een stille kamer.
• De Scaffolding (De werkplek): In het echte leven werkt de chef-kok niet alleen. Hij heeft een team: een assistent die de ingrediënten voorbereidt, een kritische kok die de smaak proeft, en een manager die de bestelling verdeelt. Dit team noemen ze in de paper "scaffolding" (steigers).

De onderzoekers wilden weten: Is de chef-kok nog steeds veilig als hij met dit hele team werkt, of verandert het team de uitkomst?

2. Het Grote Ontdekking: Het Vraagformulier is de Echte Schurk

Ze hebben bijna 63.000 tests gedaan met de slimste robots van dit moment. Wat bleek?

Het grootste probleem is niet het team (de scaffolding), maar hoe je de vraag stelt.

• Als je de robot vraagt: "Is dit antwoord veilig? A, B of C?" (meerkeuze), krijg je één score.
• Als je dezelfde vraag stelt maar zegt: "Schrijf zelf een antwoord," krijg je een heel andere score.

De analogie: Stel je voor dat je een speler vraagt: "Wie heeft gewonnen? A, B of C?" versus "Vertel me hoe het spel verliep." Het antwoord kan totaal anders zijn, alleen omdat de vraag anders is gesteld. De onderzoekers ontdekten dat het veranderen van de vraagvorm de veiligheidsscore met 5 tot 20% kan veranderen. Dat is veel groter dan het effect van het team (de scaffolding) zelf!

3. Niet Alle Teams zijn Slecht

Sommige mensen dachten dat als je een AI in een complex team stopt, hij per se onveiliger wordt.

• Het slechte nieuws: Een bepaalde manier van werken (noem het "de kopieer-en-plak-methode") maakte de AI inderdaad iets onveiliger.
• Het goede nieuws: Twee andere manieren van werken hielden de AI net zo veilig als in de simpele test.

Het is alsof je een auto test: als je hem op een gladde baan rijdt, is hij veilig. Als je hem door modder rijdt (sommige teams), kan hij vastlopen. Maar als je hem door een andere modder (andere teams) rijdt, rijdt hij prima. Er is dus geen "één groot gevaar"; het hangt af van hoe je de auto bestuurt.

4. Geen Universele Regels

Een heel belangrijk punt is dat elke robot anders reageert.

• Robot A wordt onder team X 16% onveiliger.
• Robot B wordt onder hetzelfde team X juist 18% veiliger!

Dit betekent dat je niet kunt zeggen: "AI's zijn met dit team altijd gevaarlijk." Het is net als met mensen: als je een groep mensen samenstelt, wordt de ene persoon slimmer en de andere dommer, afhankelijk van hun persoonlijkheid. Je kunt dus geen algemene regels maken voor alle robots.

5. De "Veiligheidsranglijst" Bestaat Niet

Aan het einde zeggen de onderzoekers iets heel belangrijks: Er is geen betrouwbare ranglijst voor veiligheid.

Stel je voor dat je een sporter test. Vandaag is hij de beste in zwemmen, morgen de beste in hardlopen, en overmorgen de slechtste in fietsen. Als je probeert één "totale sporter-score" te maken, is die score waardeloos (in de paper staat dat de betrouwbaarheid 0 is).

Omdat elke AI zich anders gedraagt afhankelijk van de test en het team, kun je niet zeggen: "AI-model X is veiliger dan AI-model Y." Je moet ze elke keer opnieuw testen in de specifieke situatie waarin ze gaan werken.

Conclusie in één zin

Deze paper leert ons dat we niet blindelings moeten vertrouwen op simpele tests of algemene regels. Om te weten of een AI veilig is, moeten we hem testen in de exacte situatie waarin hij gaat werken, met de juiste vragen, want wat je meet, hangt meer af van hoe je meet dan van de AI zelf.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Safety Under Scaffolding: How Evaluation Conditions Shape Measured Safety" in het Nederlands.

Probleemstelling

Huidige veiligheidsbenchmarks voor taalkundige modellen (LLMs) evalueren modellen vaak in isolatie, meestal via meerkeuzevragen. Echter, in productieomgevingen worden deze modellen niet alleen gebruikt, maar ingebed in complexe "agentic scaffolds" (steigers). Deze scaffolds herstructureren de invoer via redeneertraces, critic-agenten en delegatiepijplijnen. De kernvraag van dit onderzoek is of de veiligheidsmetingen die we in de laboratoriumomgeving (isolatie) krijgen, nog geldig zijn wanneer deze modellen worden ingezet in deze dynamische, gelaagde productieomgevingen. Er bestaat een risico dat de huidige evaluatiemethoden de werkelijke veiligheidsprestaties verkeerd weergeven.

Methodologie

De auteurs hebben een van de grootste gecontroleerde studies uitgevoerd naar de effecten van scaffolding op veiligheid:

• Omvang: De studie omvatte 62.808 evaluaties.
• Modellen: Zes frontier-modellen werden getest.
• Configuraties: Vier verschillende implementatieconfiguraties (scaffold-architecturen) werden onderzocht.
• Methodologische strengheid: Het onderzoek combineerde voorregistratie (pre-registration), verblindde beoordelaars (assessor blinding), equivalentietesten (equivalence testing) en een specificatiecurve-analyse (specification curve analysis) om bias te minimaliseren en robuuste conclusies te trekken.
• Vergelijking: Er werd een directe vergelijking gemaakt tussen de prestaties van modellen in isolatie versus binnen verschillende scaffold-architecturen, met name de "map-reduce" methode.

Belangrijkste Resultaten

De resultaten tonen aan dat de evaluatieomgeving een grotere impact heeft dan de architectuur van de scaffold zelf:

1. Negatief effect van Map-Reduce: De "map-reduce" scaffolding-techniek leidde tot een duidelijke verslechtering van de gemeten veiligheid (NNH = 14, wat betekent dat voor elke 14 gevallen er één extra veiligheidsincident optreedt door deze methode).
2. Het Format-probleem is cruciaal: De daling in veiligheid bij map-reduce bleek vooral te wijten te zijn aan een meetprobleem. Het overschakelen van een meerkeuzeformaat naar een open-eindformaat op identieke items resulteerde in een verschuiving van de veiligheidsscores met 5 tot 20 procentpunten. Dit effect is groter dan welk scaffold-effect dan ook.
3. Praktische Equivalentie: Binnen hetzelfde evaluatieformaat waren de verschillen tussen de scaffold-architecturen (behalve map-reduce) statistisch en praktisch verwaarloosbaar. Twee van de drie scaffold-architecturen behielden de veiligheid binnen de vooraf vastgestelde marges (±2 procentpunten).
4. Geen Universele Claims: Er is een sterke interactie tussen model en scaffold. De effecten lopen uiteen van -16,8 pp (verslechtering) tot +18,8 pp (verbetering) afhankelijk van het specifieke model. Dit weerlegt het idee dat scaffolds universeel veilig of onveilig zijn; het effect is modelafhankelijk.
5. Gebrek aan Generaliseerbaarheid: De generaliseerbaarheidsanalyse leverde een G-waarde van 0,000 op. Dit betekent dat de veiligheidsrangschikkingen van modellen volledig omkeren afhankelijk van de gebruikte benchmark. Er is geen betrouwbare "composiet veiligheidsindex" mogelijk; een model dat veilig is op benchmark A, kan onveilig zijn op benchmark B.

Bijdragen

• Empirisch Bewijs: Levering van robuust, gecontroleerd bewijs dat de evaluatieomgeving (vooral het antwoordformaat) de veiligheidsmeting meer beïnvloedt dan de ingebouwde agentische logica.
• Methodologische Innovatie: Toepassing van specificatiecurve-analyse en equivalentietesten op het gebied van AI-veiligheid, wat een nieuwe standaard zet voor rigoureuze evaluatie.
• Open Data: De auteurs hebben de volledige code, datasets en prompts vrijgegeven onder de naam ScaffoldSafety, wat herhaalbaarheid en verdere onderzoek mogelijk maakt.

Significantie en Conclusie

Dit paper ondermijnt de huidige aanname dat een veilige benchmark-score in isolatie een garantie is voor veiligheid in de praktijk. De belangrijkste conclusie is dat het evaluatieformaat (meerkeuze vs. open-eind) de dominante variabele is, niet de scaffold-architectuur zelf.

Omdat de veiligheidsrangschikkingen van modellen niet generaliseerbaar zijn tussen verschillende benchmarks (G=0.000), concluderen de auteurs dat er geen enkele "veiligheidsscore" bestaat die voor alle contexten geldt. De enige geldige standaard is per-model en per-configuratie testen. Organisaties die LLM's in productie willen zetten, moeten hun eigen specifieke scaffold-omgeving testen in plaats van te vertrouwen op algemene benchmark-resultaten.