Technische Samenvatting: VETSCORE

Probleemstelling

Large Language Models (LLM's) worden steeds vaker toegepast in de veterinaire geneeskunde, maar ze produceren regelmatig outputs die potentieel schadelijk of feitelijk onjuist zijn. Hoewel recente benaderingen pleiten voor "attributieve tekstgeneratie" (inclusclusief citaties en bronfragmenten) om de betrouwbaarheid te verbeteren, garandeert de loutere aanwezigheid van citaties niet dat de gegenereerde beweringen getrouw zijn aan de verstrekte bronnen. Bovendien behandelen bestaande methoden voor feitverificatie alle claims als gelijkwaardig. In domeinen met een hoog risico, zoals de veterinaire geneeskunde, is dit een kritiek gebrek: een ongeverifieerde bewering over een medicijndosering vormt een aanzienlijk groter risico op schade aan de patiënt dan een ongeverifieerde bewering over het publicatiejaar van een studie. Huidige evaluatiemetrieken slagen er niet in om deze risiconiveaus te onderscheiden, waardoor hoog-risico hallucinaties mogelijk onopgemerkt blijven terwijl laag-risico onjuistheden disproportioneel worden bestraft.

Methodologie: VETSCORE

De auteurs presenteren VETSCORE, een meerstaps evaluatiepijplijn ontworpen om de getrouwheid van langvormige veterinaire QA-outputs aan hun geciteerde bronfragmenten te beoordelen, gewogen naar de potentiële schade van elke bewering. De methode breidt het standaard "decompose-then-verify"-paradigma uit met risico-gecorrigeerde scoring.

De pijplijn bestaat uit vier afzonderlijke stadia:

1. Output Segmentatie: De gegenereerde tekst wordt in segmenten gesplitst op basis van delimiters (lege regels of voorgaande citaties). Elk segment wordt geassocieerd met de bijbehorende bronfragmenten.
2. Claim Decompositie: Een LLM splitst elk tekstsegment op in individuele atomaire claims. Om ervoor te zorgen dat de context behouden blijft (bijv. het oplossen van anafora), krijgt de decomposer de voorgaande tekst van de output tot de laatste header als context.
3. Dubbele Scoring-mechanisme:
   • Feitverificatie: Een LLM-judge evalueert of elke atomaire claim wordt ondersteund door de verstrekte bronfragmenten. Dit levert een binaire score op ($v_i \in \{0, 1\}$), waarbij 1 duidt op ondersteuning en 0 op een gebrek aan ondersteuning of een tegenstrijdigheid.
   • Schadepotentieel Scoring: Onafhankelijk daarvan wijst een LLM-judge een score voor schadepotentieel ($w_i \in [1, 5]$) toe aan elke claim. Deze score weerspiegelt de ernst van de schade als de claim onjuist zou zijn en door een dierenarts zou worden opgevolgd. De schaal loopt van 1 (geen klinische consequentie, bijv. metadata van een studie) tot 5 (directe schade aan de patiënt, bijv. een onjuiste medicijndosering of contra-indicatie).
4. Risico-gewogen Aggregatie: De uiteindelijke score voor een segment wordt berekend door de verificatie- en schade scores te aggregeren. De auteurs definiëren een lokale straf op basis van het ongeverifieerde potentieel, genormaliseerd door het totale schadepotentieel van het segment. De formule maakt het mogelijk om de bijdrage van claims met een hoog risico te controleren via een exponent $p$ (gesteld op 2,426 in experimenten). De uiteindelijke risico-gecorrigeerde verificatiescore is $1 - p_{global}$, wat het deel van het totale schadepotentieel vertegenwoordigt dat wel wordt ondersteund.

Dataset en Evaluatie

Om VETSCORE te valideren, hebben de auteurs een meta-evaluatie dataset geconstrueerd:

• Inputs: 67 diverse queries uit een productiesysteem voor veterinaire QA, die verschillende disciplines (gastro-enterologie, cardiologie, etc.) en soorten beslaan.
• Generatie: Zes verschillende LLM's (waaronder GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro en open-weight modellen) genereerden antwoorden met citaties op basis van opgehaalde PubMed-bronnen.
• Menselijke Annotatie: Veterinaire experts (praktisendi en studenten) annoteerden 1.200 segmenten met 4.986 claims. Zij voerden twee taken uit: binaire feitverificatie en 1–5 schade-potentieel scoring.
• Aggregatie: Vanwege een matige inter-annotator overeenstemming op de schade-scoring ($\alpha = 0,462$), gebruikten de auteurs Item Response Theory (specifiek het Partial Credit Model) om te corrigeren voor de strengheid van de beoordelaar en geaggregeerde scores af te leiden.

Belangrijkste Resultaten

De auteurs evalueerden VETSCORE met behulp van negen verschillende judge-modellen (variërend van propriëtaire modellen zoals GPT-5.6 Sol tot kleinere open-weight modellen zoals Gemma 4 31B) tegen de menselijke annotaties.

• Correlatie met Experts: VETSCORE behaalde hoge Spearman-correlaties met menselijke experts. Correlaties voor feitverificatie bereikten tot 0,783 (Gemini 3.6 Flash), en correlaties voor schadepotentieel bereikten 0,763 (Gemini 3.1 Pro).
• Model Efficiëntie: De modulaire aanpak bleek effectief, zelfs met kleinere modellen. Gemma 4 31B (31B parameters) behaalde concurrerende correlaties met veel grotere propriëtaire modellen, wat suggereert dat de methode geen massieve LLM's vereist voor effectieve evaluatie.
• Ablatie-studies: Het verwijderen van de component voor schadepotentieel (Verification-only baseline) verminderde de correlatie met menselijke gecombineerde scores aanzienlijk in absolute termen, wat bevestigt dat risicoweging essentieel is voor klinische relevantie. Gezamenlijke evaluatie (het combineren van verificatie en scoring in één prompt) verslechterde de prestaties vergeleken met de modulaire aanpak.
• Consistentie: Propriëtaire modellen en Gemma 4 31B vertoonden een hoge consistentie tussen runs, terwijl sommige open-weight Mixture-of-Experts (MoE) modellen een hogere variantie vertoonden.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. VETSCORE Pijplijn: Een efficiënte, uitlegbare en modulaire verificatiepijplijn die risico-gewogen getrouwheidsscores biedt, specifiek voor veterinaire long-form QA. In tegenstelling tot vorige methoden straft deze expliciet ongeverifieerde claims met een hoog risico zwaarder af dan claims met een laag risico.
2. Expert-gevalideerde Dataset: De release van een meta-evaluatie dataset geannoteerd door veterinaire professionals, die aantoont dat de voorgestelde aanpak hoog correleert met het oordeel van menselijke experts.
3. Haalbaarheid met Kleine Modellen: De demonstratie dat de modulaire decompositie en risicoweging de effectieve evaluatie mogelijk maken met kleinere, efficiëntere LLM's, wat het systeem schaalbaar maakt.

De auteurs benadrukken dat VETSCORE de specifieke behoefte aan "risico-bewuste" evaluatie in klinische domeinen aanpakt. Door outputs te deconstrueren en claims te wegen naar schadepotentieel, biedt het systeem fijnmazige uitlegbaarheid, waardoor praktici precies kunnen identificeren welke claims met een hoog risico geen ondersteuning hebben. Het artikel concludeert dat hoewel de methode momenteel gericht is op excerpt-gebaseerde getrouwheid, het risico-gecorrigeerde framework een cruciale stap is naar veiligere, op bewijs gebaseerde AI in de veterinaire geneeskunde.