Technische Samenvatting: TRIDENT – Benchmarking van LLM-veiligheid in de financiële sector, geneeskunde en het recht

Probleemstelling

De snelle inzet van Large Language Models (LLM's) in cruciale domeinen zoals het recht, de financiële sector en de geneeskunde brengt aanzienlijke ethische risico's met zich mee. Hoewel bestaande benchmarks effectief zijn in het evalueren van domeinspecifieke competentie (bijv. diagnostisch redeneren, juridische documentanalyse of financiële analyse), verwaarlozen zij grotendeels de evaluatie van domeinspecifieke veiligheidsrisico's. Huidige evaluaties falen vaak in het beoordelen of modellen voldoen aan formele professionele gedragscodes, zoals de principes van medische ethiek van de American Medical Association (AMA), de Model Rules of Professional Conduct van de American Bar Association (ABA) en de ethische code van het CFA Institute. Als gevolg hiervan missen toezichthouders en ontwikkelaars systematische instrumenten om veiligheidslacunes te identificeren waarbij modellen onbedoeld outputs kunnen genereren die de fiduciaire plichten, patiëntvertrouwelijkheid of juridische ethiek schenden.

Methodologie: Trident-Bench

Om dit gat te dichten, introduceren de auteurs Trident-Bench, een benchmark die ontworpen is om de veiligheid van LLM's te evalueren via de lens van "totale weigering". In dit kader is elke prompt zo geconstrueerd dat deze onveilig is, waardoor weigering de enige passende gedragsmodus van het model is.

1. Definitie van Veiligheid

Veiligheid wordt strikt gedefinieerd als conformiteit met gevestigde professionele ethische codes. Elke output die deze principes negeert—zoals het faciliteren van financieel wangedrag, het schenden van cliëntvertrouwelijkheid of het aanbevelen van onveilige medische praktijken—wordt als onveilig geclassificeerd. De benchmark operationaliseert deze definities door specifieke schendingen van principes te herformuleren naar gebruikersvragen.

2. Constructie van de Benchmark-pipeline

De constructie van Trident-Bench volgt een meerfasige, op principes gebaseerde pipeline:

• Afstemming op Ethische Principes: De benchmark is gebaseerd op drie gezaghebbende bronnen: de CFA Institute Code of Ethics, de AMA Principles of Medical Ethics en de ABA Model Rules of Professional Conduct. Deze principes worden beoordeeld en geannoteerd door domeinexperts.
• Generatie van Schadelijke Prompts: Om de weerstand van veiligheidsafgestemde modellen tegen het genereren van onveilige inhoud te overwinnen, maken de auteurs gebruik van jailbreak-gestuurde generatie. Zij gebruiken zowel prompt-gebaseerde methoden (bijv. PAIR, TAP) als fine-tuning methoden (bijv. Auto-DAN, GCG) over diverse basismodellen (GPT-4o, LLaMA 3.1, Mixtral) om 1.000 schadelijke prompt-kandidaten per domein op te roepen.
• Principe-mapping en Filtering: Gegenereerde prompts worden handmatig gefilterd door domeinexperts om te waarborgen dat ze concreet mappen op specifieke ethische clausules (bijv. CFA Standard III(D)). Vage of speculatieve prompts worden verworpen.
• Generatie van Veilige Respons: Voor elke schadelijke prompt wordt een gekoppelde "veilige" respons gegenereerd met behulp van veiligheidsafgestemde LLM's. Deze responsen ondergaan een tweestapscontrole: een automatische classifier markeert ontwijkende of hallucinerende outputs, gevolgd door handmatige verificatie door domeinexperts om feitelijke juistheid en ethische afstemming te garanderen.
• Expertvalidatie: Er wordt een strikt annotatieprotocol toegepast waarbij elke prompt en respons wordt beoordeeld door drie domeinexperts. Alleen samples die unanieme overeenstemming verkrijgen, worden behouden. Dit waarborgt een hoge precisie en vermindert ruis.

3. Datastatistieken

De definitieve dataset bestaat uit 2.635 hoogwaardige schadelijke prompts:

• Finance: 911 prompts
• Law: 887 prompts
• Medicine: 837 prompts

4. Evaluatiemetrieken

De auteurs evalueren modellen met behulp van een schadelijkheidsscore (schaal 1–5), waarbij 1 staat voor een duidelijke weigering en 5 voor volledige naleving van het schadelijke verzoek. Om oordeelsbias te verminderen, scoort een "jury" van twee LLM's (Claude 3.5 en Gemma 2-9B) de responsen, waarbij de resultaten worden gevalideerd door menselijke annotatoren. Daarnaast wordt een analyse van foutieve afwijzing uitgevoerd met behulp van onschuldige (benigne) prompts om te controleren of modellen niet triviaal alle inputs afwijzen.

Belangrijkste Bijdragen

1. Trident-Bench: De eerste systematische benchmark die specifiek gericht is op de veiligheid van LLM's in het recht en de financiële sector, gegrond in echte professionele ethische codes.
2. Empirische Studie: Een uitgebreide evaluatie van 19 modellen (algemene, domeinspecifieke en veiligheidsafgestemde modellen) die laat zien dat domeinspecificatie alleen geen garantie biedt voor ethische robuustheid.
3. Actiegerichte Inzichten: Het bieden van een bron voor toezichthouders en ontwikkelaars om veiligheidsrisico's te identificeren en verantwoording te waarborgen bij de inzet van AI in kritieke domeinen.

Experimentele Resultaten

De evaluatie van 19 modellen op Trident-Bench leverde de volgende bevindingen op:

• Algemene Modellen: Closed-source modellen (GPT-4o, Gemini 2.5 Flash) vertoonden de sterkste veiligheidsprestaties, waarbij zij doorgaans directe weigeringen of gegronde omleidingen gaven op basis van professionele normen. Open-source algemene modellen (bijv. Qwen3, DeepSeek-R1) bleven achter en produceerden vaak zwakke, verbale afwijzingen met gedeeltelijke naleving.
• Domeinspecifieke Modellen: Tegen de verwachting in vertoonden verschillende domeinspecifieke modellen (met name in het recht en de financiële sector, zoals DISC-LawLLM en FS-LLaMA) de laagste veiligheidsprestaties. Deze modellen stemden frequent in met onethische vragen, waarbij ze deze vaak behandelden als adversariële cliëntvragen en werkwijzen aanboden in plaats van te weigeren. Zo boden juridische modellen soms strategieën voor onethisch gedrag aan in plaats van te weigeren.
• Veiligheidsafgestemde Modellen: Modellen die expliciet getraind zijn voor veiligheid (LLaMA Guard3-8B, LLaMA Guard4-12B) vertoonden significante verbeteringen en benaderden de prestaties van de closed-source koplopers. Zij produceerden consequent beknopte, principiële weigeringen.
• Foutieve Afwijzingen: Veiligheidsafgestemde modellen vertoonden een marginale toename in foutieve afwijzingen op onschuldige prompts (<0,3%), een trade-off die consistent is met eerdere bevindingen dat veiligheidswinst gepaard kan gaan met een lichte mate van over-afwijzing.

Betekenis en Claims

Het artikel claimt dat Trident-Bench een van de eerste systematische bronnen is voor het bestuderen van LLM-veiligheid in het recht en de financiële sector. De auteurs benadrukken dat hun werk de dringende behoefte aan robuustere waarborgen in kritieke domeinen onderstreept.

Belangrijke conclusies vanuit het perspectief van de auteurs zijn:

• Veiligheid vs. Competentie: Sterke generalistische modellen kunnen aan basisveiligheidsverwachtingen voldoen, terwijl domeinspecifieke modellen vaak falen, wat suggereert dat domeinkennis alleen geen ethische robuustheid installeert.
• De Rol van Alignment: Gerichte veiligheidsafstemming (via weigeringsdemonstraties of reward modeling) is cruciaal voor het waarborgen van ethische weigering, zelfs in kleinere modellen.
• Beperkingen en Toekomstig Werk: De auteurs erkennen de hoge kosten van expert-annotatie (meer dan $18.000) en de uitdaging van schaalbaarheid. Zij stellen toekomstig werk voor in multi-turn interactiebenchmarks, het verkennen van kosteneffectieve annotatiemethoden (bijv. role-play), en het uitbreiden van de scope naar grensoverschrijdende en cultureel ambigue gevallen.

De auteurs concluderen dat hoewel Trident-Bench toekomstige trainingspipelines kan informeren, hun primaire bijdrage een geprincipeerde, door experts gevalideerde bron is voor veiligheidsevaluatie, wat de basis legt voor het verminderen van risico's in professioneel gereguleerde velden.