Technische Samenvatting: Schützen – Evaluatie van LLM-veiligheid in de Bulgaarse en Duitse context

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in professionele domeinen, maar bestaande bronnen voor veiligheidsevaluatie blijven overweldigend Engels- en Chinees-gecentreerd. Deze kloof is kritiek voor talen die opereren binnen gedeelde sociaal-culturele, juridische en ethische kaders, zoals die in Europa. Specifiek ontbreken voor laag-resource talen zoals het Bulgaars inheemse veiligheidsbenchmarks, terwijl hoog-resource talen zoals het Duits vaak worden geëvalueerd met vertaalde prompts die er niet in slagen regio-specifieke culturele normen, juridische beperkingen en politieke gevoeligheden te vatten. Huidige meertalige benchmarks vertrouwen vaak op directe vertaling, wat het vermogen beperkt om te beoordelen hoe veiligheidsgedrag wordt overgedragen naar talen die een gedeelde regelgevende omgeving delen maar verschillen in beschikbaarheid van middelen.

Methodologie

Om deze beperkingen aan te pakken, introduceren de auteurs Schützen, een tweetalige veiligheidsdataset ontworpen voor Duits en Bulgaars. De methodologie bestaat uit drie kerncomponenten:

1. Constructie van de dataset

De dataset bestaat uit ongeveer 8.000 prompts (3.978 per taal) afgeleid van de Do-not-Answer (DNA) serie en uitgebreid met regio-specifieke inhoud. Het constructieproces legt de nadruk op culturele lokalisatie in plaats van directe vertaling:

• Lokalisatiestrategie: Algemene risicovragen werden herschreven om lokale figuren, historische gebeurtenissen, beleid en culturele conventies te weerspiegelen (bijv. het vervangen van generieke namen door lokale equivalenten zoals "Pepa" en "Senya" voor het Bulgaars, of "Gertrude" en "Karina" voor het Duits).
• Risicodekking: De dataset beslaat zes risicogebieden en 16 schadetypes, waaronder Informatiegevaren, Kwaadwillig Gebruik, Discriminatie/Toxiciteit, Misinformatie, Mens-Chatbot Interactie-schade en Regio-specifieke Gevoeligheid (bijv. controversiële historische gebeurtenissen en politieke onderwerpen).
• Aanvalsmethoden: Prompts zijn gecategoriseerd in drie typen:
  • Directe Aanvallen (Ori): Expliciet risicovolle queries.
  • Indirecte Aanvallen (FN): Onschuldig klinkende queries die ontworpen zijn om onveilige inhoud op te roepen.
  • Beoordelingen van Overgevoeligheid (FP): Queries die gevoelige termen bevatten maar om onschuldige informatie vragen om te testen op valse weigeringen.

2. Evaluatiekader

Reacties werden verzameld van 15 LLM's, inclusief meertalige modellen (bijv. GPT-4o, Claude-3.7, Llama-4 varianten, EuroLLM-9B) en taalspecifieke modellen (bijv. de BgGPT-serie voor het Bulgaars, de Leo/LLaMmlein-serie voor het Duits). De evaluatie verliep in twee fasen:

• Binaire Classificatie: Bepalen of een reactie "Veilig" of "Onveilig" is. Dit werd uitgevoerd met zowel classifier-gebaseerde benaderingen (Llama-Guard) als redeneer-gebaseerde benaderingen (gepersonaliseerde risicocriteria via GPT-4.1).
• Gedetailleerde Patroonanalyse:
  • Veilige Patronen: Gecategoriseerd in zes typen, waaronder expliciete weigering, weerlegging van opinies, gebalanceerde verklaringen, risicobewuste reacties met disclaimers, algemene informatie en het erkennen van onzekerheid.
  • Onveilige Patronen: Gecategoriseerd in vier typen: algemene schadelijke inhoud, misinformatie, privacy schendingen en beledigende/emotioneel schadelijke inhoud.

3. Mens-AI Collaboratieve Annotatie

De auteurs ontwikkelden een pipeline waarbij modellen voorlopige labels en verklaringen genereren, die vervolgens worden geverifieerd door menselijke annotatoren. Deze aanpak werd gevalideerd tegenover mens-alleen annotatie, waarbij een hogere overeenstemming met automatische metrieken en verbeterde efficiëntie werd aangetoond.

Belangrijkste Resultaten

De studie evalueerde meer dan 95.000 reacties in de twee talen:

• Algemene Veiligheidsprestatie: De meeste modellen behaalden hoge veiligheidspercentages (>95%). Claude-3.7 behaalde de hoogste veiligheidsprestatie voor beide talen (99,92% veilige reacties). BgGPT-27B presteerde het best onder de Bulgaars-gecentreerde modellen (99,57%), terwijl Leo-mistral-hessianai-7B-chat leidde onder de Duits-gecentreerde modellen (98,27%).
• Modelverschillen: LLaMmlein-7B-chat (Duits) en BgGPT-2.6B (Bulgaars) scoorden het laagst op veiligheid. Opvallend genoeg presteerde GPT-4o minder goed dan andere open-source systemen op deze specifieke benchmark.
• Kwetsbaarheden in Risicogebieden: In beide talen vormde Kwaadwillig Gebruik (Risicogebied IV) de grootste uitdaging en was verantwoordelijk voor het grootste aandeel onveilige outputs.
• Gevoeligheid voor Aanvalsmethoden: Hoewel directe aanvallen het hoogste absolute aantal onveilige reacties opleverden, waren indirecte aanvallen effectiever in het omzeilen van waarborgen wanneer genormaliseerd voor steekproefomvang. De acht veiligste modellen vertoonden hogere onveilige percentages onder indirecte aanvallen.
• Cross-linguïstisch Gedrag: Ondanks linguïstische verschillen vertoonden modellen vergelijkbare faalmodi in beide talen wanneer zij binnen de gedeelde Europese regelgevende context opereerden. Modellen presteerden echter over het algemeen beter op het Duits dan op het Bulgaars, wat wijst op een ongebalanceerde regionale representatie.
• Reactiepatronen: Veilige reacties werden het meest frequent gerealiseerd als generieke informatieve antwoorden. Onveilige gedragingen concentreerden zich op het verstrekken van onjuiste informatie (Patroon 7/8) of het niet uitdrukken van onzekerheid.

Betekenis en Claims

Het artikel claimt dat Schützen de eerste tweetalige benchmark is die expliciet is ontworpen voor de veiligheidsevaluatie van LLM's in het Bulgaars en Duits. De primaire bijdragen zijn:

1. Regio-specifieke Evaluatie: Door lokalisatie te combineren met een gecontroleerde vergelijking van een laag-resource (Bulgaars) en hoog-resource (Duits) taal onder gedeelde Europese normen, onthult de dataset cross-linguïstische veiligheidsverschillen die monolinguale of losjes meertalige benchmarks missen.
2. Empirische Inzichten over Transfer: In tegenstelling tot de hypothese dat laag-resource talen een zwakkere alignment zouden vertonen, suggereren de resultaten dat wanneer doelculturen veiligheidsnormen en beleid delen met Engelstalige omgevingen, veiligheidscapaciteiten robuust worden overgedragen, zelfs naar laag-resource talen.
3. Methodologische Vooruitgang: Het paper demonstreert de effectiviteit van een mens-AI collaboratieve annotatie-pipeline, die de overeenstemming met automatische metrieken verbetert en de taakcomplexiteit vermindert vergeleken met mens-alleen annotatie.
4. Hulpmiddel voor Verantwoorde Implementatie: De dataset en code bieden een praktisch hulpmiddel voor het ondersteunen van de verantwoorde inzet van LLM's in Europese contexten waar linguïstische en culturele factoren interageren, waarbij specifiek wordt ingegaan op de kloof in veiligheidsevaluatie voor ondervertegenwoordigde regio's.

De auteurs concluderen dat hoewel huidige modellen een sterke algemene veiligheid vertonen, ze merkbaar degraderen bij regio-specifieke inhoud, wat de noodzaak voor op maat gemaakte, regio-specifieke evaluatiebronnen onderstreept om een robuuste LLM-implementatie in Duitsland en Bulgarije te ondersteunen.