Comparing LLM and Fine-Tuned Model Performance on NVDRS Circumstance Extraction with Varying Prompt Complexity

Stel je voor dat je een enorm puzzel oplost, samengesteld uit duizenden handgeschreven verhalen over tragische gebeurtenissen. Deze verhalen komen uit politierapporten en aantekeningen van lijkschouwers, en ze bevatten de sleutel tot het begrijpen van waarom mensen zelfmoord plegen. Het doel is om deze verhalen in specifieke categorieën in te delen, zoals "Substansmisbruik in het huishouden" of "Onderzoek door de verzorger".

Het sorteren van deze verhalen is echter lastig. Het gaat niet alleen om het vinden van een specifiek woord (zoals "alcohol" of "kanker"). Soms beschrijft het verhaal een situatie die er uitziet als de categorie, maar dat eigenlijk niet is, of het beschrijft iets dat de categorie impliceert zonder het expliciet te zeggen. Dit is vergelijkbaar met het raden van een filmplot door alleen naar één frame te kijken; je moet de context begrijpen, niet alleen de objecten in de afbeelding.

Hieronder wordt uiteengezet hoe het artikel de oplossing voor deze puzzel ontleedt:

1. De Twee Soorten "Detectives"

De onderzoekers testten twee verschillende soorten AI-"detectives" om de sortering uit te voeren:

• De "Specialist" (Fijn afgestemd model): Stel je een detective voor die een enorme bibliotheek met eerdere zaken heeft uit het hoofd geleerd. Ze is ongelooflijk snel en nauwkeurig in het opsporen van patronen die ze al een miljoen keer heeft gezien. Als ze echter een zeldzame, vreemde zaak tegenkomt die ze nog nooit heeft gezien, raakt ze vaak vast of raadt ze verkeerd, omdat ze vertrouwt op uit het hoofd geleerde patronen in plaats van op diepgaand begrip.
• De "Generalist" (Groot Taalmodel of LLM): Stel je een detective voor die een briljante filosoof is. Ze heeft niet elk specifiek geval uit het hoofd geleerd, maar ze heeft bijna alles ter wereld gelezen. Ze is uitstekend in het begrijpen van nuances, logica en "lezen tussen de regels door". Ze kan een zeldzame situatie oplossen, zelfs zonder dat ze dat specifieke scenario eerder heeft gezien, maar ze kan soms wat trager zijn of eenvoudige dingen te veel overdenken.

2. Het Probleem: "De Zeldzame Gevallen"

De onderzoekers ontdekten dat voor veelvoorkomende verhalen (zoals "Problemen op het werk" of "Financiële problemen") de Specialist uitstekend is. Maar voor zeldzame, complexe verhalen (zoals "Substansmisbruik in het huishouden", waar zeer specifieke regels gelden over wie de drugs gebruikt en waar ze wonen), faalt de Specialist jammerlijk omdat ze niet genoeg voorbeelden heeft gezien om de regels te leren.

De Generalist daarentegen blinkt uit in deze zeldzame, complexe gevallen, omdat ze logica kan gebruiken om het antwoord af te leiden, zelfs als ze dat exacte scenario nog nooit heeft gezien.

3. De Oplossing: Het "Complexiteitscijfer"-algoritme

De grote vraag was: Hoe weten we welke detective we voor welk verhaal moeten gebruiken?

Het team bedacht een slimme tool genaamd het Complexiteitscijfer. Denk hierbij aan een "Moeilijkheidsmeter" in een videospelletje.

• Voordat de AI een verhaal leest, kijkt het algoritme naar de "regelboeken" voor die specifieke categorie.
• Als het regelboek lastige "Nee"-voorbeelden bevat (bijvoorbeeld: "Tel dit niet mee, ook al wordt alcohol genoemd, omdat de persoon een volwassene is"), gaat de meter omhoog. Het weet dat dit een Complex Geval is.
• Als het regelboek rechttoe rechtaan is, blijft de meter laag. Het weet dat dit een Eenvoudig Geval is.

4. De Hybride Strategie: De "Slimme Schakelaar"

In plaats van slechts één detective voor alles te gebruiken, bouwden de onderzoekers een Hybride Systeem met een slimme schakelaar:

• Als de meter "Eenvoudig" aangeeft: Het systeem stuurt het verhaal naar de Specialist (het snelle, patroonherkennende model).
• Als de meter "Complex" aangeeft: Het systeem stuurt het verhaal naar de Generalist (de LLM) en geeft een gedetailleerd "spiekbriefje" (een complexe prompt) met uitleg over de specifieke regels en uitzonderingen.

5. De Resultaten

• De Winnaar: Het Hybride Systeem was overall het beste. Het was bijna perfect in het sorteren van de verhalen.
• Het Verschil: De Specialist was goed in veelvoorkomende dingen, maar verschrikkelijk in zeldzame dingen. De Generalist was geweldig in zeldzame dingen, maar maakte soms eenvoudige dingen te ingewikkeld.
• De Magie: Door de "Moeilijkheidsmeter" te laten beslissen welke detective ze moesten gebruiken, kregen ze het beste van twee werelden. Ze ontdekten dat voor de moeilijkste, zeldzaamste gevallen de Generalist met het gedetailleerde spiekbriefje veruit superieur was.

6. Waar Ze Struikelden (De Fouten)

Zelfs met het beste systeem gebeurden er fouten. De onderzoekers vonden drie hoofdredenen:

1. Slechte Labels: Soms maakte de mens die het verhaal oorspronkelijk schreef een fout in het "antwoordenboekje". De AI had eigenlijk gelijk en de mens had het mis.
2. Overreageren op Woorden: De AI zag soms een woord als "geconfronteerd" of "uitgezet" en ging ervan uit dat het een ruzie of uitzetting betekende, zelfs als het verhaal later uitlegde dat het om een klein meningsverschil of een tijdelijke situatie ging. De AI richtte zich te veel op het woord en niet genoeg op de context.
3. Echt Dubbelzinnige Verhalen: Sommige verhalen waren gewoon vaag. Zelfs een mens kon niet 100% zeker zijn of een gevoel van schuld "Onderzoek door de verzorger" betekende of gewoon "Spijt". In deze gevallen was de verwarring van de AI begrijpelijk.

De Conclusie

Het artikel concludeert dat we niet zomaar één AI-model voor alles moeten kiezen. In plaats daarvan moeten we een systeem bouwen dat fungeert als een slim manager: het kijkt hoe lastig een taak is en wijst vervolgens het juiste gereedschap toe om de klus te klaren. Voor zeldzame, verwarrende situaties hebben we de "filosoof"-AI nodig met een gedetailleerd regelboek. Voor veelvoorkomende, rechttoe rechtaan situaties is de "patroonherkennende" specialist sneller en even goed. Deze aanpak maakt het hele proces van het begrijpen van risicofactoren voor zelfmoord veel nauwkeuriger en efficiënter.