CLSGen: A Dual-Head Fine-Tuning Framework for Joint Probabilistic Classification and Verbalized Explanation

Probleemstelling

Grote Taalmodellen (LLMs) tonen veelbelovende resultaten in complexe redeneertaken, zoals in de klinische en biomedische domeinen. Echter, voor de toepassing in real-world besluitvorming (bijv. patiëntuitkomsten voorspellen) zijn er twee kritieke beperkingen:

1. Gebrek aan betrouwbare probabilistische schattingen: LLMs kunnen vaak geen kwantitatieve zekerheidsniveaus (probabiliteiten) leveren.
2. Catastrofaal vergeten en linguïstische ineenstorting: Traditionele fine-tuning-methoden voor classificatie (die vaak encoder-only modellen nabootsen door een Sigmoid-laag toe te voegen) leiden ertoe dat decoder-only LLMs hun oorspronkelijke generatieve vaardigheden verliezen. Dit fenomeen, bekend als "linguistic collapse", resulteert in onzin-tekst en het onvermogen om verbaal onderbouwingen (verklaringen) te genereren. Bestaande inferentie-only methoden (zoals prompt-engineering) missen vaak de nauwkeurigheid of vereisen hoge rekenkosten zonder consistente uitleg.

Methodologie: CLSGen

De auteurs stellen CLSGen voor, een nieuw framework voor fine-tuning dat specifiek is ontworpen voor binaire classificatietaken. Het framework combineert een nieuwe modelarchitectuur, een trainingsmethode en een strategie voor dataconstructie om zowel nauwkeurige probabiliteiten als hoogwaardige tekstgeneratie te behouden.

1. Architectuur (Dual-Head)
In plaats van alleen een classificatielaag toe te voegen, gebruikt CLSGen een decoder-only model met een dubbele kop (dual-head) structuur:

• LM Head (Generatie): Een standaard taalkundig modelkop die verantwoordelijk is voor het autoregressief genereren van tekst (de uitleg/rationale en het verbaal gelabelde resultaat).
• CLS Head (Classificatie): Een extra Sigmoid-laag (via een twee-laags MLP) die de verborgen representatie van het laatste token van de input-prefiks gebruikt om direct een binaire label te voorspellen.

2. Trainingsdoelwit (Joint Fine-Tuning)
Het model wordt getraind om twee complementaire verliezen tegelijkertijd te minimaliseren:

• Generatieverlies ($\mathcal{L}_{gen}$): Een causaal taalkundig modelverlies dat het model leert om een rationale (uitleg) te genereren gevolgd door een gestructureerd classificatietoken (bijv. "Classification: 1:death").
• Classificatieverlies ($\mathcal{L}_{cls}$): Een cross-entropy verlies dat de directe voorspelling van de binaire label door de CLS-head optimaliseert.
• Totale Loss: $\mathcal{L}_{total} = \mathcal{L}_{gen} + \mathcal{L}_{cls}$.
  Door beide doelen te combineren, wordt voorkomen dat het model zijn generatieve capaciteiten verliest terwijl het leert om te classificeren. De training gebruikt LoRA (Low-Rank Adaptation) om de attention-projecties aan te passen, wat de efficiëntie verhoogt.

3. Dataconstructie
Om hoogwaardige trainingsdata te creëren die zowel labels als uitleggen bevat, gebruiken de auteurs een strategie geïnspireerd op zwak toezicht:

• Een LLM ($M_{data}$) genereert meerdere kandidaat-antwoorden voor een input.
• Alleen de output wordt behouden die zowel een geldige uitleg genereert als een voorspelling die overeenkomt met het grondwahrheid-label (ground truth).
• Dit zorgt voor een dataset $T = \{(x_i, y_i, e_i)\}$ waarbij $e_i$ een rationale is die logisch gekoppeld is aan $y_i$.

Kernbijdragen

• Oplossing voor Linguistic Collapse: CLSGen bewijst dat het mogelijk is om een decoder-only LLM te fine-tunen voor classificatie zonder de generatieve vaardigheden te verliezen, in tegenstelling tot traditionele methoden.
• Dual-Head Architectuur: Een innovatieve structuur die probabilistische schattingen en tekstgeneratie in één model verenigt, waardoor de interpretatiebaarheid (via uitleg) behouden blijft.
• Nieuwe Evaluatiemetrics: De auteurs introduceren AUROC-Alignment en Cohen's Kappa om de consistentie tussen de numerieke classificatie en de gegenereerde tekst te meten, evenals RLI (Rationale-Label Inconsistency) voor interne coherentie.

Resultaten

Het framework werd getest op uitdagende benchmarks: LCD benchmark (voorspelling van mortaliteit na ontslag, 30/90 dagen) en CliniFact (verificatie van klinische claims).

• Classificatieprestaties: CLSGen presteerde over het algemeen beter dan bestaande baselines (zoals zero-shot prompting, self-consistency en traditionele CNN's) op de belangrijkste metrics AUROC en F1-score. Bijvoorbeeld, op de LCD 30-dagen taak behaalde CLSGen een AUROC van 0.8586, vergeleken met 0.7455 voor self-consistency en 0.6598 voor verbaal geprompteerde waarschijnlijkheid.
• Behoud van Generatie: Het model behield een uitzonderlijk hoge "parsability" (>0.97), wat aantoont dat de outputstructuur intact bleef en geen "linguistic collapse" optrad.
• Consistentie: Er was een sterke correlatie tussen de classificatie en de gegenereerde tekst:
  • AUROC-Alignment: Scores tussen 0.95 en 0.98, wat aangeeft dat de numerieke voorspelling sterk overeenkomt met de verbaal gegenereerde label.
  • RLI (Rationale-Label Inconsistency): Zeer laag (bijv. 0.0003 voor LCD 30 dagen), wat betekent dat de gegenereerde uitleg in >99.8% van de gevallen logisch consistent is met het voorspelde label.
  • Leesbaarheid: De gegenereerde uitleggen scoorden hoog op leesbaarheid en klinische bruikbaarheid.

Betekenis en Conclusie

CLSGen biedt een praktische oplossing voor een van de grootste hindernissen bij het inzetten van LLMs in hoog-risico domeinen zoals de gezondheidszorg. Het overbrugt de kloof tussen de noodzaak voor nauwkeurige, kwantitatieve probabiliteiten en de eis voor menselijke interpretatie via tekstuele uitleggen.

De studie demonstreert dat het mogelijk is om discriminatieve vaardigheden (classificatie) te verbeteren zonder de generatieve kracht van LLMs op te offeren. Dit maakt CLSGen tot een krachtig instrument voor toepassingen waar zowel vertrouwen (probabiliteit) als transparantie (uitleg) essentieel zijn, zoals bij het voorspellen van patiëntuitkomsten of het verifiëren van medisch onderzoek.