Can LLMs Judge Legal Accuracy? Reliability of LLM Evaluators for High-Stakes Insurance QA in a Low-Resource Language
Dit artikel toont aan dat hoewel LLM's kunnen worden gebruikt om de juridische nauwkeurigheid in talen met weinig middelen, zoals Quebecs Frans, te evalueren, hun betrouwbaarheid onvoldoende is voor inzet met een hoog risico zonder menselijk toezicht, aangezien zelfs de sterkste modellen slechts matige overeenstemming vertonen, er niet consistent in slagen gevaarlijke fouten te detecteren en aanzienlijk profiteren van stapsgewijze redenering en ensemblemethoden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie is een nieuw hulpmiddel opgekomen om een oud probleem op te lossen: hoe weten we of een computer de waarheid spreekt? Jarenlang hebben ontwikkelaars vertrouwd op menselijke experts om de antwoorden te lezen en te beoordelen die door deze slimme machines worden gegenereerd, maar dit proces is traag, duur en moeilijk te herhalen. Om zaken te versnellen, begonnen onderzoekers de slimste kunstmatige intelligentiemodellen zelf te gebruiken om als rechters op te treden, waarbij ze het werk van andere modellen beoordelen. Deze aanpak, vaak "AI-beoordeling" genoemd, is populair geworden omdat het snel en consistent is. Echter, het grootste deel van wat we weten over deze digitale rechters komt uit tests die in het Engels zijn uitgevoerd over algemene onderwerpen, zoals het schrijven van verhalen of het beantwoorden van trivia. We weten nog niet of deze rechters vertrouwd kunnen worden wanneer de belangen groot zijn, het onderwerp complexe juridische materie is en de taal een specifiek regionaal dialect betreft.
Een team van onderzoekers aan de Université Laval in Canada besloot deze digitale rechters te testen in de meest veeleisende omgeving die zij zich konden voorstellen. Zij richtten zich op autoverzekeringen in de provincie Quebec, een plek waar de regels zijn geschreven in een unieke vorm van het Frans en worden beheerst door een specif specifieke juridische systematiek die verschilt van de rest van Canada en Europa. In dit systeem wordt lichamelijk letsel door auto-ongelukken afgehandeld door een publiek plan zonder schuldvraag (no-fault), terwijl schade aan eigendommen wordt afgehandeld door particuliere verzekeringsmaatschappijen. Een enkele fout in het uitleggen van deze regels zou een burger onjuist kunnen informeren over diens rechten of een bedrijf juridisch kwetsbaar kunnen laten. De onderzoekers verzamelden 807 echte examenvragen die worden gebruikt voor de certificering van verzekeringsprofessionals, samen met de juiste antwoorden en deskundige verklaringen. Vervolgens vroegen zij 52 verschillende kunstmatige intelligentiemodellen om als rechters op te treden, waarbij ze controleerden of de diverse antwoorden op deze vragen juist of onjuist waren.
De resultaten waren sober. Zelfs de meest krachtige en geavanceerde kunstmatige intelligentiemodellen, die als de beste ter wereld worden beschouwd, konden niet op zichzelf worden vertrouwd om deze juridische antwoorden te beoordelen. Het best presterende model was slechts matig betrouwbaar, wat betekent dat het nog steeds vaak genoeg fouten maakte waardoor een mens er niet blindelings op zou willen vertrouwen. Belangrijker nog was dat de onderzoekers ontdekten dat de algemene intelligentie van een model geen voorspeller was voor hoe veilig het te gebruiken was. Sommige zeer intelligente modellen waren verrassend onvoorzichtig en keurden regelmatig foutieve antwoorden goed alsof ze correct waren. Anderen waren overdreven voorzichtig en verwierpen correcte antwoorden, enkel om maar veilig te zijn. Er was geen eenvoudige manier om een "goede" rechter te kiezen op basis van de algemene reputatie; een model dat hoog scoorde op algemene kwaliteit, kon nog steeds gevaarlijk zijn omdat het specifieke, kostbare fouten niet detecteerde.
De studie onthulde ook dat deze digitale rechters anders reageren afhankelijk van wie het antwoord heeft geschreven. In veel andere studies hebben kunstmatige intelligentiemodellen de neiging om vriendelijker te zijn naar antwoorden die door andere machines zijn geschreven, waarbij ze vaak hogere scores geven dan aan door mensen geschreven tekst. Maar in deze strikte juridische context gebeurde het tegenovergestelde. De rechters waren zelfs strenger voor antwoorden die door kunstmatige intelligentie waren geschreven dan voor antwoorden van mensen. Ze waren minder geneigd om een door een machine gegenereerd antwoord als correct te accepteren, zelfs wanneer de door mensen geschreven afleidingsmanoeuvres duidelijk onjuist waren. Dit suggereert dat de bias van deze modellen niet vaststaat; het verandert op basis van de taak en de instructies die worden gegeven. Wanneer hen gevraagd werd om precies te zijn over de wet, werden de modellen strenger, niet milder.
Om een weg vooruit te vinden, testten de onderzoekers verschillende strategieën om het beoordelingsproces veiliger te maken. Zij ontdekten dat het de rechters helpen om een referentietekst te geven om mee te vergelijken, maar dit gold alleen voor de zwakkere modellen. De meest effectieve oplossing was het gebruik van een panel van rechters in plaats van één enkele rechter. Door een kleine groep van de beste modellen te laten stemmen over een antwoord, en te eisen dat zij het er allemaal over eens waren voordat een antwoord als correct werd geaccepteerd, verminderden de onderzoekers het aantal gevaarlijke fouten drastisch. Deze "conservatieve" aanpak betekende dat als zelfs één rechter in de groep een fout opmerkte, het antwoord werd verworpen. Deze methode verlaagde het aantal foutieve goedkeuringen met meer dan de helft in vergelijking met het gebruik van het beste model alleen.
De onderzoekers concludeerden dat voor juridische vragen met hoge belangen een enkele kunstmatige intelligentie-rechter niet betrouwbaar genoeg is om alleen te werken. Het risico dat een machine een foutief juridisch antwoord goedkeurt, is te groot om te negeren. In plaats daarvan is de beste aanpak om een klein team van slimme modellen te gebruiken voor de eerste screening, maar om altijd een menselijke expert klaar te hebben staan om de definitieve beslissing te nemen in moeilijke of risicovolle gevallen. Dit creëert een systeem waarin de snelheid van kunstmatige intelligentie wordt gecombineerd met de veiligheid van menselijk toezicht. De studie dient als een waarschuwing dat hoewel deze instrumenten krachtig zijn, ze geen perfecte vervanging zijn voor menselijk oordeel, vooral wanneer de regels complex zijn en de gevolgen van een fout ernstig zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.