AICompanionBench: Benchmarking LLMs-as-Judges for AI Companion Safety

Technische Samenvatting: AICompanionBench: Het benchmarken van LLM's als rechters voor de veiligheid van AI-metgezellen

Probleemstelling
De snelle expansie van de markt voor AI-metgezellen (bijv. Replika, Character.AI) heeft de zorgen over onveilige mens–AI-interacties, met name bij adolescenten, geïntensiveerd. Hoewel eerder onderzoek de veiligheidsrisico's en de negatieve impact van AI-gezelschap heeft gedocumenteerd, bestaat er een kritieke kloof in het vermogen om deze risico's automatisch te detecteren. Specifiek is er een gebrek aan publiek beschikbare, fijnmazig gelabelde datasets gericht op mens–AI-metgezelconversaties. Bovendien zijn "LLM's-als-rechters" (LLMs-as-Judges) opgekomen als een flexibel alternatief voor traditioneel gesuperviseerd leren voor veiligheidsevaluatie, maar hun betrouwbaarheid en robuustheid in de specifieke context van AI-gezelschap blijven onderbelicht. Bestaande benchmarks richten zich vaak op taakgerichte interacties of binaire veiligheidslabels, en falen hierdoor in het vastleggen van de genuanceerde, multicatagonale risico's die inherent zijn aan langdurige, emotioneel betrokken metgezel-dialogen.

Methodologie
De studie introduceert AICompanionBench, een benchmarkframework bestaande uit drie kerncomponenten: conversatiecompilatie, annotatie en evaluatie.

1. Data Compilatie: De auteurs hebben 43.851 conversatiesnippets verzameld van de Reddit-subreddit r/replika (januari 2021–januari 2026). Deze werden oorspronkelijk gedeeld als door gebruikers geplaatste screenshots. Tekst werd geëxtraheerd via OCR (Pytesseract), waarbij sprekers werden onderscheiden op basis van de positionering van de tekstballonnen.
2. Annotatiestrategie: Er werd een hybride mens-AI-aanpak gehanteerd om de schaal en complexiteit van de dataset aan te kunnen:
   • LLM-gebaseerde screening: Zes LLM's (uit de Llama- en Qwen-families) filterden de ruwe data om potentieel onveilige conversaties te identificeren. Een trechterproces selecteerde 2.295 conversaties die een hoge mate van onzekerheid vertoonden of door meerdere modellen als problematisch werden gemarkeerd voor menselijke beoordeling.
   • Mens-AI-samenwerking: Een getrainde menselijke annotator beoordeelde deze 2.295 conversaties om ruis te verwijderen en initiële labels toe te wijzen aan negen categorieën. De dataset werd na opschoning uitgebreid naar 2.123 conversaties.
   • Grondwaarheid-verfijning: De 2.231 conversaties werden opnieuw geëvalueerd door 20 state-of-the-art LLM's (open- en closed-source). De menselijke annotator gebruikte deze modelvoorspellingen als referentie om de definitieve grondwaarheid-labels vast te stellen. De initiële Cohen's kappa tussen machinevoorspellingen en menselijke labels was 0,59.
3. Benchmark Evaluatie: De definitieve dataset werd gebruikt om 20 LLM's (inclusief de GPT-, Claude-, Mistral-, DeepSeek-, Llama- en Qwen-families) te evalueren onder een LLM-als-rechter-framework. De modellen kregen de taak om conversaties te classificeren in negen categorieën: seksueel gedrag, antisocial gedrag, fysieke agressie, verbale agressie, middelengebruik, zelfbeschadiging & zelfmoord, controle, manipulatie en geen schade.

Kernbijdragen

1. AICompanionBench Dataset: Het artikel presenteert de eerste publiekelijk beschikbare, gelabelde dataset van echte mens–AI-metgezelconversaties. Het bevat 2.123 conversaties geannoteerd met fijnmazige veiligheidsrisicocategorieën, waarmee het tekort aan open data in dit domein wordt aangepakt.
2. Systematische LLM Benchmarking: De studie biedt een uitgebreide evaluatie van 20 diverse LLM's (open- en closed-source) op de specifieke taak van het detecteren van onveilige interacties in AI-gezelschap. Dit gaat verder dan enkelvoudige modeldemonstraties door de betrouwbaarheid en consistentie van LLM's-als-rechters in deze veiligheidskritische context te beoordelen.

Resultaten
De evaluatie toonde significante variatie in modelprestaties en specifieke beperkingen:

• Algemene Prestaties: De modelnauwkeurigheid varieerde sterk van 26% tot 86%. De GPT-familie (met name GPT-4o op 86% en GPT-5.4 op 83%) en Claude-opus-4.6 (83%) kwamen als beste uit de bus. Kleinere modellen, zoals Llama-3-8B, presteerden aanzienlijk minder (26%).
• Schaal versus Redeneren: De prestaties verbeterden over het algemeen met de modelomvang (bijv. de Qwen3-serie verbeterde van 53% naar 76% naarmate het aantal parameters toenam). Echter, het inschakelen van "denk"- of redeneercapaciteiten leverde niet consistent prestatiewinst op ten opzichte van de basismodellen.
• Categorie-specifieke Moeilijkheden:
  • Expliciet versus Impliciet: Modellen presteerden goed op expliciete categorieën zoals seksueel gedrag (98% precisie voor topmodellen) en middelengebruik.
  • Genuanceerde Risico's: "Manipulatie" was de meest uitdagende categorie, waarbij alle 20 modellen een precisie onder de 80% behaalden. Categorieën die impliciete intentie of contextuele ambiguïteit vereisen (zelfbeschadiging, manipulatie, agressie) bleken moeilijk.
• Over-identificatie (Vals Positieven): Een cruciale bevinding was de neiging van veel modellen om risico's te overidentificeren. De categorie "geen schade" was moeilijk correct te classificeren, waarbij 16 van de 20 modellen een precisie onder de 80% behaalden. Sommige modellen, zoals Mistral-medium-3, vertoonden een foutpositiefpercentage van 90%, waarbij ze onschuldige rollenspellen of contextueel veilige gesprekken onterecht als schadelijk markeerden.

Betekenis en Claims
De auteurs beweren dat AICompanionBench een essentieel gat vult door de eerste publieke benchmark te bieden die specifiek is afgestemd op de unieke interactiepatronen en risico's van AI-gezelschap. De studie toont aan dat hoewel huidige LLM's effectief zijn in het detecteren van expliciete schadelijke inhoud, ze nog steeds beperkt zijn in het identificeren van impliciete onveilige interacties en het onderscheiden van onschuldige gesprekken van schadelijke gesprekken. De bevindingen suggereren dat het uitsluitend vertrouwen op huidige LLM's-als-rechters voor veiligheidsmonitoring in AI-gezelschap onvoldoende is vanwege problemen met nuance en overgevoeligheid. Het werk beoogt de ontwikkeling van meer betrouwbare, geautomatiseerde detectiemethoden voor veiligheid te bevorderen en biedt een fundament voor toekomstig onderzoek naar het beperken van risico's in de groeiende economie van AI-metgezellen.