Technische Samenvatting: Effecten van Kwantisatie op de Betrouwbaarheid van Biomedische LLM's

Probleemstelling

Systematische reviews zijn cruciaal voor evidence-based geneeskunde, maar handmatige screening van onderzoeksabstracts blijft een knelpunt. Automatische zinsclassificatie—het toewijzen van functionele rollen (bijv. BACKGROUND, METHODS, RESULTS) aan zinnen in medische abstracts—biedt een oplossing. Hoewel Large Language Models (LLM's) natuurlijke kandidaten zijn voor deze taak, vereist hun inzet in de zorggerelateerde pijplijnen niet alleen nauwkeurigheid, maar ook goed gekalibreerde vertrouwensschattingen. Een model dat zeer accuraat is maar overmoedig in zijn fouten, vormt een aanzienlijk risico voor downstream meta-analyses en klinische richtlijnen.

Bovendien vereisen omgevingen met beperkte middelen modelcompressietechnieken zoals INT8 en INT4 kwantisatie. De impact van deze kwantisatiemethoden op de kwaliteit van de kalibratie, met name voor biomedische LLM's, is echter slecht begrepen. Cruciaal is dat schijnbaar kalibratiemetrieken vaak verstrengeld zijn met implementatiekeuzes—specifiek de prompt-template, de verbalizer (mapping van label naar token) en de scoringsregel—die zelden als experimentele variabelen worden behandeld. Dit artikel onderzoekt hoe deze meetkeuzes, naast kwantisatie, de betrouwbaarheid en kalibratie van biomedische decoders beïnvloeden.

Methodologie

Modellen en Dataset

De studie evalueert drie 7B-parameter decoder-varianten van Mistral op de PubMed RCT zinsclassificatietaak (5 klassen: BACKGROUND, OBJECTIVE, METHODS, RESULTS, CONCLUSIONS) met behulp van een gestratificeerde steekproef van $n=2.000$ testvoorbeelden:

1. Mistral-7B-v0.3 (Base): Een generieke decoder zonder taakspecifieke of instructie-tuning.
2. BioMistral-7B: Een model dat verder is voorgetraind op PubMed Central-artikelen en de instructie-tuning erft van zijn ouder (Mistral-7B-Instruct-v0.1).
3. Mistral-7B-Instruct-v0.3 (Instruct): De instructie-getunede variant van het basismodel.

Een fine-tuned encoder, PubMedBERT, dient als een gesuperviseerd referentiepunt (getraind op $\sim$176k voorbeelden), hoewel de resultaten als niet direct vergelijkbaar worden beschouwd vanwege verschillen in trainingsdata en evaluatieverdeling.

Experimentele Variabelen

De evaluatie varieert systematisch drie factoren:

1. Precisie: FP16 (baseline), INT8 (LLM.int8() mixed-precision), en INT4 (NF4 met dubbele kwantisatie).
2. Prompt Templates: Vier antwoordtekst-templates werden gebruikt:
   • Struct-Delim en Bare-Cont: Ontdekt via evolutionaire prompt-zoekopdrachten op een ontwikkelset.
   • Min-Inst en Alt-Frame: Onafhankelijk ontworpen om de gevoeligheid voor instructie-verbaalheid en lexicale inkadering te testen.
3. Scoringsprotocollen: Twee methoden voor het extraheren van waarschijnlijkheden uit de decoder:
   • Summed Log-Likelihood: Som van de log-waarschijnlijkheden over de label-tokens.
   • Mean-Token Log-Likelihood: Gemiddelde log-waarschijnlijkheid per token (lengte-genormaliseerd).

Kalibratie en Metrieken

Kalibratie werd beoordeeld met behulp van Expected Calibration Error (ECE), de Brier-score en Negative Log-Likelihood (NLL). Post-hoc temperatuur-scaling werd toegepast op een heldergehouden validatieset ($n=200$) om NLL te minimaliseren. De studie evalueerde ook de faalmodi van single-token class-code scoring versus volledige answer-text scoring.

Belangrijkste Bijdragen

1. Gevoeligheid voor Scoringsregel: Het artikel toont aan dat de keuze van het scoringsprotocol (sommed vs. mean-token log-likelihood) de schijnbare kalibratierangschikking domineert. Het wisselen van protocollen keert de kalibratiehiërarchie tussen BioMistral en Instruct-modellen om, terwijl de nauwkeurigheid grotendeels ongewijzigd blijft.
2. Impact van Template Variatie: De keuze van de prompt-template induceert nauwkeurigheidsschommelingen van 7–24 procentpunten, een magnitude die vergelijkbaar is met of groter is dan de verschillen tussen modelvarianten. Dit suggereert dat template-ontwerp een eerste-orde experimentele beslissing is, en geen implementatiedetail.
3. Kwantisatie Delta's: Voor gespecialiseerde modellen (BioMistral en Instruct) resulteert INT8-kwantisatie in nauwkeurigheids- en F1-veranderingen binnen 1–2 procentpunten van FP16. INT4 (NF4) vertoont heterogene maar niet-catastrofale effecten, met specifieke verbeteringen in ECE voor BioMistral op de Bare-Cont template. Het basismodel vertoont een grotere gevoeligheid voor kwantisatie op specifieke templates.

Resultaten

Kalibratie en Nauwkeurigheid Trade-offs

Onder summed log-likelihood scoring leek het Instruct-model aanzienlijk overmoedig (Gemiddelde ECE = 0,237) vergeleken met BioMistral (Gemiddelde ECE = 0,097). Echter, onder mean-token scoring, keerde deze rangschikking om: de ECE van Instruct daalde naar 0,096, terwijl die van BioMistral steeg naar 0,289. De nauwkeurigheid bleef stabiel over deze wijzigingen in scoring voor gespecialiseerde modellen (<1% verschil), maar het basismodel verloor 4–6 procentpunten onder mean scoring.

Kwantisatie Effecten

• Gespecialiseerde Modellen (BioMistral/Instruct): INT8-kwantisatie produceerde nauwkeurigheidsdelta's $\le$ 1 procentpunt en F1-delta's $\le$ 2,1 procentpunten. In verschillende gevallen verbeterde INT8 de prestaties marginaal ten opzichte van FP16.
• Basismodel: Toonde grotere gevoeligheid, met INT8-nauwkeurigheidsschommelingen tot +4,2 procentpunten op de Struct-Delim template.
• INT4 (NF4): De effecten waren heterogeen. Voor BioMistral verbeterde INT4 de ECE specifiek op de Bare-Cont template (0,063 vs. 0,104 bij FP16), terwijl de nauwkeurigheid behouden bleef; op Struct-Delim waren de effecten gemengd. Voor Instruct veroorzaakte INT4 een bescheiden daling in nauwkeurigheid op Bare-Cont met een iets slechtere ECE. Er werd geen catastrofale degradatie waargenomen in de geteste configuraties.

Temperatuur Scaling

Post-hoc temperatuur scaling verminderde de ECE onder summed scoring voor beide modellen. De aangepaste temperaturen waren hoger voor Instruct ($T = 2,2–4,6$) dan voor BioMistral ($T = 1,3–1,7$). De auteurs merken echter op dat deze bevinding specifiek is voor de summed scoring rule en niet generaliseert naar mean-token scoring.

Falen van Single-Token Scoring

Eerdere pogingen om single-token class codes (A–E) te gebruiken, resulteerden in label collapse (macro-F1 nabij toeval) voor base en continued-pretrained modellen, gedreven door positionele en token-frequentie biases. Het overstappen naar answer-text scoring (het genereren van volledige labelnamen) redde de classificatieprestaties, wat het cruciale belang van de verbalizer benadrukt.

Betekenis en Claims

Het artikel stelt dat waarschijnlijkheidsextractie-protocollen de primaire drijfveren zijn van schijnbare kalibratieverschillen in decoder-gebaseerde biomedische NLP, en vaak de modelarchitectuur of trainingsgeschiedenis overschaduwen.

• Methodologische Implicatie: Kalibratievergelijkingen tussen modellen zijn niet interpreteerbaar zonder expliciet het scoringprotocol te specificeren en te variëren. Een model dat onder één scoring rule als "overmoedig" wordt beschouwd, kan onder een andere regel als goed gekalibreerd verschijnen.
• Experimenteel Ontwerp: Het ontwerp van de prompt-template moet worden behandeld als een primaire experimentele variabele. De nauwkeurigheidsvariaties veroorzaakt door template-keuze kunnen de prestatiewinsten van modelselectie of instructie-tuning overtreffen.
• Inzet Veiligheid: Hoewel INT8-kwantisatie veilig lijkt voor gespecialiseerde biomedische decoders (met minimale nauwkeurigheidsverlies), suggereren de heterogene effecten van INT4 en de gevoeligheid van het basismodel dat equivalentietesten met vooraf opgegeven marges noodzakelijk zijn vóór inzet.
• Beperkingen: De auteurs waarschuwen dat hun bevindingen specifiek zijn voor de PubMed RCT taak en de geteste kwantisatiemethoden (bitsandbytes). De vergelijking tussen BioMistral en Instruct wordt bemoeilijkt door verschillen in base-versies en pretraining-geschiedenis, en de temperatuur scaling resultaten zijn gebonden aan een specifieke scoring rule.

Concluderend benadrukt de studie dat een betrouwbare evaluatie van biomedische LLM's een rigoureuze controle over prompt-templates, verbalizers en scoring-normalisatie vereist, in plaats van te vertrouwen op een enkel protocol om de kalibratie van een model te beoordelen.