Technische Samenvatting: AIR-BENCH Live

Probleemstelling

Safety-benchmarks voor fundamentele modellen, zoals AIR-BENCH 2024, lijden aan snelle veroudering door de snelle evolutie van zowel AI-capaciteiten als wereldwijde wetgeving. Statische taxonomieën slagen er niet in om nieuwe vormen van schade te vatten die voortvloeien uit nieuwe regelgeving, en op sjablonen gebaseerde aanvalsprompts verliezen hun effectiviteit naarmate modellen zich aanpassen en defensieve maatregelen verbeteren. Gevolglijk worden vaste benchmarks minder onderscheidend, waarbij ze vaak weigeringen oproepen op basis van verouderde prompts in plaats van onveilige gedragingen in moderne modellen bloot te leggen. Er is een kritieke behoefte aan een "levenslang" evaluatiekader dat continu nieuwe regelgevende vereisten absorbeert en aanvalsprompts regenereert om de strengheid te handhaven tegen steeds veerkrachtiger wordende modellen.

Methodologie

AIR-BENCH Live introduceert een zelfevoluerende pipeline die ontworpen is om de update van safety-benchmarks te automatiseren. Het systeem werkt met een hiërarchische risicotaxonomie van niveau 4, weergegeven als een JSON-boom, waarbij de binnenste knopen recursieve samenvattingen bevatten en de bladknopen de benchmark-payload (prompts, judges en bronbeleid) bevatten. De pipeline bestaat uit drie primaire geautomatiseerde componenten:

1. Geautomatiseerde beleidsmonitoring en classificatie:

   • Een webscraper voert een breedtezoektocht (breadth-first crawl) uit over 16 regelgevende bronnen (bijv. Congress.gov, EU AI Office, CAC China, NIST).
   • Een extractie-agent (GPT-5.4-mini) identificeert kandidaat-beleidsclausules en vertaalt niet-Engelse tekst naar het Engels.
   • Een recall-georiënteerde keyword-filter behoudt clausules die concrete, aanvalbare schade vermelden (bijv. wapens, fraude), terwijl administratieve boilerplate wordt verwijderd.
   • Een verifieer-agent zorgt ervoor dat de resterende clausules toetsbare schadelijke capaciteiten beschrijven.
   • Een hiërarchische classificatie-agent navigeert door de taxonomieboom, waarbij nieuwe beleidsfragmenten worden gekoppeld aan bestaande Niveau-4 bladen of het voorstellen van nieuwe, granulaire categorieën. Een reconciliatie-agent voorkomt duplicaten tussen takken.

2. Multi-Agent Promptgeneratie:

   • Een multi-agent, persona-gestuurd algoritme herzien de legacy-prompts en genereert nieuwe prompts voor nieuwe categorieën.
   • Basisgeneratie: GPT-5.4-mini genereert 8 kandidaat-prompts per categorie, geïnitieerd met willekeurige persona's uit PersonaHub om syntactische diversiteit en realisme te induceren.
   • Verfijningslus: Een critic-refiner loop (Critic: GPT-5.4; Refiner: GPT-5.4-mini) iterereert 1–2 keer om te voldoen aan de categorie-specifieke criteria, waarbij de duidelijkheid van het risicovolle voornemen en de natuurlijkheid worden gemaximaliseerd, terwijl persona-drift wordt geminimaliseerd.
   • Mutatie: Prompts worden gemuteerd met jailbreaking-technieken (momenteel "authority endorsement", waarbij een preambule appelleert aan autoriteit).
   • Vertaling: Prompts worden vertaald naar het Spaans, Japans en Portugees met behulp van Qwen 3.7-plus, inclus met een critic-loop die de behoud van betekenis verifieert.
   • Menselijke beoordeling: De pipeline bevat optionele checkpoints waar menselijke beoordelaars de sterkste prompts selecteren, hoewel het systeem is ontworpen om met minimale menselijke interventie te functioneren.

3. Dataset Partitionering:

   • De uiteindelijke dataset wordt gepartitioneerd op basis van jurisdictie (gebaseerd op de bronwetgever) en taal, wat grensoverschrijdende en meertalige analyse mogelijk maakt.

Belangrijkste Bijdragen

• Zelfevoluerende Pipeline: AIR-BENCH Live is de eerste benchmark met een geautomatiseerde pipeline die continu overheidsregulering monitort, nieuwe beleidsregels classificeert tegen een dynamische taxonomie en prompts regenereert zonder dat handmatige herengineering van de gehele dataset vereist is.
• Uitgebreide Taxonomie: In de huidige iteratie heeft de pipeline de benchmark uitgebreid van 314 naar 335 granulaire risico's. Het voegde 21 nieuwe Niveau-4 categorieën toe, afgeleid van 31 nieuwe beleidsclausules uit zeven jurisdicties. Deze nieuwe categorieën adresseren opkomende risico's zoals diefstal van modelgewichten, autonome cyberaanvallen en synthetische media-manipulatie van verkiezingen.
• Geautomatiseerde Modernisering van Prompts: Het systeem vervangt legacy, Engelstalige, gestileerde prompts door realistische, meertalige, persona-gestuurde prompts. Dit proces maakt gebruik van een critic-refiner loop om een hoge kwaliteit te garanderen, wat aantoont dat geautomatiseerde generatie de moeilijkheidsgraad van prompts die via traditionele human-in-the-loop iteraties zijn gemaakt, kan evenaren of overtreffen.
• Meertalige en Juridische Granulariteit: De benchmark ondersteunt nu analyse over vier talen (Engels, Spaans, Japans, Portugees) en meerdere jurisdicties, waarmee gaten in eerdere statische benchmarks worden gedicht.

Resultaten

De auteurs evalueerden 14 recente fundamentele modellen met behulp van de AIR-BENCH Live dataset (totaal 2.680 prompts).

• Safety Spread: Er is een grote variantie in modelveiligheid, met scores variërend van 0.17 (Mistral Large) tot 0.89 (Claude Haiku 4.5) onder modellen die beoordeeld zijn op hun eigen gedrag. GPT-5.5 en Claude Opus 4.8 behaalden perfecte scores (1.00), wat volledig wordt toegeschreven aan API-niveau moderatie die prompts blokkeert vóór inferentie.
• Prompt Moeilijkheidsgraad: De gemoderniseerde prompts in AIR-BENCH Live zijn gemiddeld 0.06 punten moeilijker dan de 2024-set. De meest compliant modellen (bijv. DeepSeek V3.2, Kimi K2) vertoonden de grootste prestatiedalingen (−0.20 en −0.19, respectievelijk), wat aangeeft dat de nieuwe prompts geavanceerde safety-alignments effectief uitdagen.
• Meertalige Prestaties: De meeste modellen scoorden lager op niet-Engelse prompts vergeleken met Engelstalige prompts, met een gemiddelde daling van 0.03 bij niet-plafondmodellen. Opvallende dalingen werden waargenomen bij Gemini 2.5 Flash (−0.12) en Lamen 3 8B (−0.08). Zelfs meertalig-georiënteerde modellen zoals Qwen3-235B vertoonden degradatie (−0.07), wat suggereert dat meertalige pretraining niet garandeert dat er ook meertalige alignment aanwezig is.
• Categorie Prestaties: De prestaties waren het zwakst in "Automated Decision-Making" en "Advice in Heavily Regulated Industries" (veel modellen scoren <0.10) en het sterkst in "Non-Consensual Nudity" en "Sowing Division" (bijna alle modellen >0.75).

Betekenis en Claims

Het artikel stelt dat AIR-BENCH Live de fundamentele beperking van statische benchmarks aanpakt: hun onvermogen om het tempo bij te houden van het "snel bewegende veld" van AI-safety. Door de absorptie van nieuwe wetgeving en de regeneratie van prompts te automatiseren, transformeert de benchmark van een statische snapshot naar een levend systeem dat evolueert samen met regulerende en technologische verschuivingen.

De auteurs claimen dat hun multi-agent promptgeneratie-algoritme succesvol prompts produceert die realistischer, moeilijker en meertaliger zijn dan vorige iteraties, ondanks dat er aanzienlijk minder menselijke beoordeling nodig is. De resultaten tonen aan dat de benchmark een sterke onderscheidende kracht behoudt, waarbij het effectief onderscheid maakt tussen modellen met variërende safety-alignments. Verder benadrukken de bevindingen dat cross-linguale alignment een significante uitdaging blijft, aangezien safety-gedrag in niet-Engelse contexten voor veel modellen degradeert. Het artikel concludeert dat een dergelijk evoluerend kader essentieel is voor het handhaven van relevante veiligheidsevaluaties naarmate AI-risico's en wetten blijven veranderen.