Technische Samenvatting: TriEval – Een Resource-Efficiënte Pipeline voor de Beoordeling van Bias, Toxiciteit en Waarheidsgetrouwheid bij LLM's

Probleemstelling

De snelle adoptie van Large Language Models (LLM's) in kritieke sectoren zoals de gezondheidszorg, het onderwijs en de overheid heeft robuuste evaluatiekaders noodzakelijk gemaakt om veiligheid en eerlijkheid te waarborgen. Bestaande evaluatietools kampen echter met significante beperkingen:

1. Focus op één parameter: De meeste tools evalueren slechts één dimensie (bijv. toxiciteit of waarheidsgetrouwheid) tegelijkertijd, waardoor onderzoekers meerdere uiteenlopende tools moeten draaien en resultaten handmatig moeten correleren.
2. Hoge computationele barrières: Complexe frameworks zoals HELM vereisen enorme GPU-clusters en uitgebreide configuratietijd, waardoor ze ontoegankelijk zijn voor onafhankelijke onderzoekers of zij zonder institutionele financiering.
3. Problemen met reproduceerbaarheid: De afhankelijkheid van externe API's (bijv. Perspective API) voor scoring introduceert variabiliteit door versiewijzigingen of service-onderbrekingen.
4. Beperkte reikwijdte: Veel benchmarks richten zich uitsluitend op propriëtaire modellen (bijv. de GPT-familie) of bieden geen multidimensionale veiligheidsscan voor open-source modellen.

Methodologie: De TriEval Pipeline

TriEval is ontworpen als een modulaire, resource-efficiënte pipeline die de output van LLM's simultaan evalueert op drie kritieke dimensies: Bias (vooringenomenheid), Toxiciteit en Waarheidsgetrouwheid. Het systeem is gebouwd op drie ontwerpprioriteiten: Modulariteit, Reproduceerbaarheid en Toegankelijkheid.

1. Systeemarchitectuur

• Model Abstractielaag: TriEval maakt gebruik van een uniforme interface om modellen te bevragen, waarbij verzoeken worden gerouteerd via de HuggingFace API voor open-source modellen en de Anthropic API voor closed-source modellen. Dit zorgt voor identieke prompt-condities voor alle geëvalueerde modellen.
• Judge-LLM Aanpak: In plaats van te vertrouwen op externe API's, integreert TriEval Claude Haiku als een interne "rechter" om modelresponsen te scoren. Dit model evalueert toxiciteit en bias op basis van gestructureerde rubrieken afgeleid van XSTest en Constitutional AI-principes. Dit ontwerp houdt de pipeline zelfvoorzienend en reproduceerbaar.
• Toegankelijkheid: De gehele pipeline draait op standaard hardware (bijv. de gratis Google Colab-tier) zonder dat een GPU-cluster vereist is. De totale API-kosten voor de experimenten waren minder dan 2 USD.

2. Experimenteel Ontwerp

De studie evalueerde vier modellen: drie open-source (Meta Llama 3 8B, Mistral 7B, Google Gemma 2 9B) en één closed-source (Anthropic Claude Haiku).

• Toxiciteit Evaluatie:
  • Dataset: 30 aangepaste adversariële prompts verspreid over zes schadelijke categorieën (beledigingen, lichaamsbeschaming, dreigementen, haatzaaien, leeftijdsdiscriminatie, pesten), geïnspireerd door ToxiGen.
  • Scoring: Responsen werden gescoord op een schaal van 0.0–1.0 (0.0 = ongevaarlijk, 1.0 = toxisch). Weigeringen (refusals) kregen automatisch een lage score (0.05) om veilig gedrag te reflecteren.
• Waarheidsgetrouwheid Evaluatie:
  • Dataset: Een subset van 60 vragen uit de TruthfulQA benchmark, ontworpen om zelfverzekerde hallucinaties uit te lokken.
  • Scoring: Modellen kregen de instructie om enkelvoudige letter-antwoorden te geven. Nauwkeurigheid werd berekend op basis van de correctheid van de geëxtraheerde letter.
• Bias Evaluatie:
  • Dataset: 30 paren prompts volgens de BiasAsker methodologie. Elk paar verschilde alleen door een demografische variabele (geslacht, ras, religie, leeftijd, nationaliteit).
  • Scoring: De rechter vergeleek de antwoorden zij-aan-zij om verschillen in sentiment of professionaliteit te detecteren.

Belangrijkste Resultaten

1. Toxiciteit Prestaties

Alle vier de modellen weigerden elke adversariële prompt succesvol, wat duidt op een sterke veiligheidsafstemming (safety alignment).

• Claude Haiku behaalde de laagste gemiddelde toxiciteitsscore (0.050), gekenmerkt door directe, stellige weigeringen.
• Gemma 2 9B en Llama 3 8B eindigden gelijk met 0.060.
• Mistral 7B scoorde iets hoger (0.085) vanwege meer verbaal uitgebreide, verontschuldigende weigeringen.
• Observatie: De variatie in scores weerspielt verschillen in weigeringsstijl en alignment-tuning, in plaats van de generatie van schadelijke inhoud.

2. Waarheidsgetrouwheid Prestaties

• Gemma 2 9B kwam als winnaar uit de bus met 83,3% nauwkeurigheid, waarmee het de closed-source Claude Haiku overtrof.
• Mistral 7B behaalde 63,3%, terwijl Llama 3 8B een score van 40,0% behaalde.
• Claude Haiku scoorde 0,0%. Dit was geen falen van feitelijke kennis; het model gaf consequent volledige verklaringen in plaats van het gevraagde enkelvoudige letterformaat, waardoor de geautomatiseerde extractielogica faalde.
• Observatie: Open-source modellen, met name Gemma 2 9B, vertoonden een feitelijke nauwkeurigheid die vergelijkbaar met of zelfs hoger is dan die van propriëtaire modellen wanneer aan formaatbeperkingen wordt voldaan.

3. Bias Prestaties

• Alle modellen scoorden 0,0% op expliciete bias detectie over alle vijf de demografische dimensies.
• Nuance: Hoewel er geen expliciete bias werd vastgesteld, werd subtiele stereotypering waargenomen. Zo beschreven Llama 3 en Mistral mannelijke CEO's met eigenschappen als "zelfvertrouwen" en "besluitvaardigheid", terwijl ze vrouwelijke CEO's beschreven met "empathie" en "samenwerking". De rechter markeerde dit niet als bias omdat beide beschrijvingen positief en professioneel waren, wat de beperking van paired-prompt testen bij het detecteren van subtiele, impliciete biases benadrukt.

4. Validatie

De waarheidsgetrouwheidsscores van TriEval vertoonden een Pearson-correlatie van 0,935 met gepubliceerde TruthfulQA MC1-scores, wat de betrouwbaarheid van de pipeline valideert ondanks de kleinere steekproefomvang (60 vragen versus 817).

Betekenis en Bijdragen

Het artikel positioneert TriEval als een belangrijke stap naar het democratiseren van LLM-veiligheidsonderzoek. De belangrijkste bijdragen zijn:

1. Multidimensionale Efficiëntie: Het is de eerste pipeline die bias, toxiciteit en waarheidsgetrouwheid simultaan evalueert in een enkele run, waardoor de noodzaak voor meerdere tools vervalt.
2. Resource Toegankelijkheid: Door te draaien op standaard laptops en gratis cloud-tiers met minimale API-kosten, stelt het onderzoekers zonder enorme computerbudgetten in staat om rigoureuze veiligheidsevaluaties uit te voeren.
3. Open-Source Benchmarking: Het biedt een vergelijkende analyse van open-source modellen (Llama, Mistral, Gemma) tegenover closed-source tegenhangers, waarbij wordt aangetoond dat open-source modellen kunnen leiden in feitelijke nauwkeurigheid (Gemma 2 9B) en competitief presteren in veiligheid.
4. Reproduceerbaarheid: Het gebruik van een interne judge-LLM en gestandaardiseerde prompt-abstractie zorgt voor consistente, verifieerbare resultaten, onafhankelijk van de volatiliteit van externe API's.

De auteurs concluderen dat hoewel geen enkel model alle dimensies domineert, Gemma 2 9B uitblinkt als de sterkste open-source optie voor toepassingen die prioriteit geven aan feitelijke nauwkeurigheid zonder externe API-afhankelijkheden. Het artikel erkent beperkingen, waaronder de kleine omvang van de promptset en het onvermogen van huidige methoden om impliciete of intersectionele biases te detecteren, wat de weg vrijmaakt voor toekomstig werk in meertalige testen en de integratie van red-teaming.