Technisches Resümee: VETSCORE

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend in der Veterinärmedizin eingesetzt, produzieren jedoch häufig Ausgaben, die potenziell schädlich oder faktisch ungenau sind. Während jüngste Ansätze für „atribuierbare Textgenerierung“ (einschließlich Zitaten und Quellenauszügen) plädieren, um die Zuverlässigkeit zu verbessern, garantiert die bloße Anwesenheit von Zitaten nicht, dass die generierten Behauptungen den bereitgestellten Quellen treu sind. Zudem behandeln bestehende Methoden zur Faktenverifizierung alle Behauptungen gleichermaßen. In hochsensiblen Bereichen wie der Veterinärmedizin ist dies ein kritischer Fehler: Eine unverifizierte Behauptung bezüglich einer Medikamentendosierung birgt ein wesentlich höheres Risiko für die Patientenschädigung als eine unverifizierte Behauptung bezüglich des Publikationsjahres einer Studie. Bestehende Evaluierungsmetriken versäumen es, diese Risikostufen zu unterscheiden, wodurch potenziell hochriskante Halluzinationen unentdeckt bleiben könnten, während geringriskante Ungenauigkeiten unverhältnismäßig stark bestraft werden.

Methodik: VETSCORE

Die Autoren präsentieren VETSCORE, eine mehrstufige Evaluierungspipeline, die darauf ausgelegt ist, die Treue von langgestreckten veterinärmedizinischen QA-Ausgaben gegenüber ihren zitierten Quellenauszügen zu bewerten, gewichtet nach dem potenziellen Schaden der jeweiligen Behauptung. Die Methode erweitert das Standardparadigma des „Dekonstruieren-dann-Verifizieren“ um eine risikoadjustierte Bewertung.

Die Pipeline besteht aus vier distinkten Phasen:

1. Segmentierung der Ausgabe: Der generierte Text wird basierend auf Delimitern (Leerzeilen oder vorangegangenen Zitaten) in Segmente unterteilt. Jedem Segment wird der entsprechende Quellenauszug zugeordnet.
2. Behauptungs-Dekonstruktion: Ein LLM zerlegt jedes Textsegment in einzelne atomare Behauptungen. Um sicherzustellen, dass der Kontext erhalten bleibt (z. B. zur Auflösung von Anaphern), wird dem Dekomposer der vorangehende Text der Ausgabe bis zum letzten Header zur Verfügung gestellt.
3. Dualer Bewertungsmechanismus:
   • Faktenverifizierung: Ein LLM-Judge bewertet, ob jede atomare Behauptung durch die bereitgestellten Quellenauszüge gestützt wird. Dies liefert einen binären Score ($v_i \in \{0, 1\}$), wobei 1 für Unterstützung und 0 für mangelnde Unterstützung oder Widerspruch steht.
   • Bewertung des Schadenspotenzials: Unabhängig davon weist ein LLM-Judge jedem Claim einen Schadenspotenzial-Score ($w_i \in [1, 5]$) zu. Dieser Score spiegelt die Schwere des Schadens wider, falls die Behauptung falsch wäre und von einem Tierarzt angewendet würde. Die Skala reicht von 1 (keine klinische Konsequenz, z. B. Metadaten einer Studie) bis 5 (direkte Patientenschädigung, z. B. falsche Medikamentendosierung oder Kontraindikation).
4. Risikogewichtete Aggregation: Der endgültige Score für ein Segment wird berechnet, indem die Verifizierungs- und Schadensscores aggregiert werden. Die Autoren definieren eine lokale Strafe basierend auf dem unverifizierten Potenzial, normiert auf das gesamte Schadenspotenzial des Segments. Die Formel ermöglicht die Steuerung des Beitrags von High-Harm-Claims über einen Exponenten $p$ (in Experimenten auf 2,426 festgelegt). Der endgültige risikoadjustierte Verifizierungsscore ist $1 - p_{global}$, was den Anteil des gesamten Schadenspotenzials darstellt, der gestützt wird.

Datensatz und Evaluierung

Um VETSCORE zu validieren, konstruierten die Autoren einen Meta-Evaluierungsdatensatz:

• Inputs: 67 diverse Abfragen aus einem produktiven veterinärmedizinischen QA-System, die verschiedene Disziplinen (Gastroenterologie, Kardiologie etc.) und Spezies abdecken.
• Generierung: Sechs verschiedene LLMs (darunter GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro und Open-Weight-Modelle) generierten Antworten mit Zitaten basierend auf abgerufenen PubMed-Quellen.
• Human-Annotation: Veterinärmedizinische Experten (Praktiker und Studenten) annotierten 1.200 Segmente mit 4.986 Claims. Sie führten zwei Aufgaben durch: binäre Faktenverifizierung und Schadenspotenzial-Scoring von 1–5.
• Aggregation: Aufgrund einer moderaten Inter-Annotator-Agreement bei der Schadensbewertung ($\alpha = 0,462$) verwendeten die Autoren die Item Response Theory (speziell das Partial Credit Model), um die Schwere der Bewerter zu adjustieren und aggregierte Scores abzuleiten.

Kernergebnisse

Die Autoren evaluierten VETSCORE mit neun verschiedenen Judge-Modellen (von proprietären Modellen wie GPT-5.6 Sol bis hin zu kleineren Open-Weight-Modellen wie Gemma 4 31B) gegen die menschlichen Annotationen.

• Korrelation mit Experten: VETSCORE erreichte hohe Spearman-Korrelationen mit menschlichen Experten. Die Korrelationen der Faktenverifizierung erreichten bis zu 0,783 (Gemini 3.6 Flash), und die Korrelationen des Schadenspotenzials erreichten 0,763 (Gemini 3.1 Pro).
• Modelleffizienz: Der modulare Ansatz erwies sich auch mit kleineren Modellen als effektiv. Gemma 4 31B (31B Parameter) erreichte kompetitive Korrelationen mit wesentlich größeren proprietären Modellen, was darauf hindeutet, dass die Methode keine massiven LLMs für eine effektive Evaluierung erfordert.
• Ablationsstudien: Das Entfernen der Schadenspotenzial-Komponente (nur Verifizierung-Baseline) reduzierte die Korrelation mit den kombinierten menschlichen Scores in absoluten Werten signifikant, was bestätigt, dass die Risikogewichtung für die klinische Relevanz essenziell ist. Die gemeinsame Evaluierung (Kombination von Verifizierung und Scoring in einem Prompt) verschlechterte die Leistung im Vergleich zum modularen Ansatz.
• Konsistenz: Proprietäre Modelle und Gemma 4 31B zeigten eine hohe Konsistenz über mehrere Durchläufe hinweg, während einige Open-Weight Mixture-of-Experts (MoE) Modelle eine höhere Varianz aufwiesen.

Bedeutung und Beiträge

Das Paper beansprucht drei primäre Beiträge:

1. VETSCORE-Pipeline: Eine effiziente, erklärbare und modulare Verifizierungspipeline, die risikogewichtete Treuescores spezifisch für die veterinärmedizinische Langform-QA bereitstellt. Im Gegensatz zu bisherigen Methoden bestraft sie unverifizierte High-Risk-Claims stärker als Low-Risk-Claims.
2. Experten-validierter Datensatz: Die Veröffentlichung eines durch Veterinärmediziner annotierten Meta-Evaluierungsdatensatzes, der zeigt, dass der vorgeschlagene Ansatz hochgradig mit dem Urteil menschlicher Experten korreliert.
3. Machbarkeit mit kleinen Modellen: Der Nachweis, dass der modulare Dekonstruktions- und Risikogewichtungsansatz eine effektive Evaluierung unter Verwendung kleinerer, effizienterer LLMs ermöglicht, was das System skalierbar macht.

Die Autoren betonen, dass VETSCORE die spezifische Notwendigkeit einer „risikoinformierten“ Evaluierung in klinischen Domänen adressiert. Durch die Dekonstruktion von Ausgaben und die Gewichtung von Claims nach ihrem Schadenspotenzial bietet das System eine feingranulare Erklärbarkeit, die es Praktikern ermöglicht, genau zu identifizieren, welche hochriskanten Behauptungen nicht gestützt werden. Das Paper schließt mit der Feststellung, dass die Methode derzeit auf excerpt-basierte Treue fokussiert ist, ihr risikoadjustierter Rahmen jedoch ein kritischer Schritt hin zu einer sichereren, evidenzbasierten KI in der Veterinärmedizin ist.