Domain Fine-Tuning vs. Retrieval-Augmented Generation for Medical Multiple-Choice Question Answering: A Controlled Comparison at the 4B-Parameter Scale

1. Enunciato del Problema

I professionisti che distribuiscono piccoli Large Language Models (LLM) eseguibili localmente per applicazioni mediche devono affrontare una decisione progettuale critica: investire risorse nel fine-tuning di dominio (codificare la conoscenza nei pesi del modello) o nel Retrieval-Augmented Generation (RAG) (iniettare conoscenza al momento dell'inferenza)?

Sebbene entrambi gli approcci siano noti per migliorare le prestazioni individualmente, sono raramente confrontati direttamente in condizioni identiche. Gli studi esistenti variano spesso nell'architettura di base, nei dataset di valutazione e nelle pipeline di recupero, rendendo difficile determinare quale intervento offra il miglior guadagno di accuratezza per un budget fisso di parametri. Questo documento affronta la domanda specifica: A una scala ridotta (4 miliardi di parametri), quale strategia—fine-tuning o RAG—fornisce un'accuratezza superiore per la risposta a domande a scelta multipla in ambito medico?

2. Metodologia

Gli autori hanno condotto un disegno sperimentale 2×2 rigorosamente controllato per isolare le variabili di interesse.

• Fattori Sperimentali:
  1. Tipo di Modello: Generico (Gemma 3 4B) vs. Adattato al dominio (MedGemma 4B).
  2. Strategia di Contesto: Nessun RAG (Solo domanda) vs. RAG (Domanda + Passaggi Recuperati).
• Variabili Controllate:
  • Dimensione del Modello: Entrambi i modelli hanno 4 miliardi di parametri.
  • Quantizzazione: Entrambi sono stati forniti come build GGUF quantizzate a 4 bit tramite Ollama.
  • Temperatura: Fissata a 0,1 per il campionamento deterministico.
  • Prompting: Identica persona di esperto medico e contratto di risposta leggibile da macchina ({"answer":"A|B|C|D"}).
  • Set di Valutazione: La partizione completa del test a 4 opzioni MedQA-USMLE (1.273 domande).
  • Ripetizioni: Ogni domanda è stata interrogata 3 volte per configurazione (Totale: 15.276 chiamate LLM).
• Pipeline di Recupero:
  • Corpus: Campi di spiegazione dalla partizione di training di MedMCQA (assicurando nessuna perdita di dati, poiché MedMCQA è disgiunto da MedQA).
  • Embedding: nomic-embed-text.
  • Classifica: Punteggio ibrido (60% similarità cosena densa + 40% lessicale) con un cutoff di distanza cosena di 0,3.
  • Contesto: I primi 3 chunk inseriti nel prompt.
• Analisi Statistica:
  • Aggregazione: Voto di maggioranza sulle 3 ripetizioni.
  • Test di Significatività: Test appaiato esatto di McNemar per confrontare l'accuratezza tra le configurazioni sugli stessi 1.273 elementi.

3. Contributi Chiave

1. Confronto Diretto Controllato: Il primo studio a mantenere costanti l'architettura di base, il prompt e il set di valutazione, attivando sia il fine-tuning che il RAG alla scala di 4B.
2. Evidenza Statistica: Fornisce una prova statistica rigorosa (tramite il test di McNemar) che il fine-tuning di dominio produce guadagni significativi, mentre una pipeline RAG competitiva non lo fa a questa scala.
3. Pipeline Riproducibile: Ha rilasciato una pipeline completamente open-source e deterministica (Ollama + ChromaDB) con 15.276 tracce JSONL grezze per supportare la replicazione.

4. Risultati

Lo studio ha valutato quattro configurazioni:

1. Gemma 3 4B (Generico) + Nessun RAG: 46,4% di accuratezza.
2. Gemma 3 4B (Generico) + RAG: 47,3% di accuratezza.
3. MedGemma 4B (Dominio) + RAG: 51,4% di accuratezza.
4. MedGemma 4B (Dominio) + Nessun RAG: 53,3% di accuratezza (Migliore Esecutore).

Risultati Chiave:

• Impatto del Fine-Tuning: Il passaggio dall'architettura di base Gemma 3 generica all'architettura MedGemma adattata al dominio ha comportato un guadagno di +6,8 punti percentuali (pp) nell'accuratezza (53,3% contro 46,4%). Questa differenza è altamente statisticamente significativa (p < 10⁻⁴).
• Impatto del RAG: L'aggiunta del RAG non ha prodotto un miglioramento statisticamente significativo per nessuno dei due modelli.
  • Per il modello generico, il guadagno è stato marginale (+0,9 pp, p = 0,56).
  • Per il modello adattato al dominio, la stima puntuale è risultata leggermente negativa (-1,9 pp, p = 0,16), suggerendo che il RAG potrebbe introdurre rumore o interferenza quando il modello possiede già la conoscenza rilevante.
• Coerenza: Tutte le configurazioni hanno mostrato un'alta coerenza tra le ripetizioni (accordo ≥0,99), indicando che i risultati sono robusti rispetto al rumore di decodifica.

5. Significato e Discussione

• Pesi vs. Contesto: Alla scala di 4 miliardi di parametri, la conoscenza di dominio codificata nei pesi domina la conoscenza di dominio fornita nel contesto. Per modelli piccoli distribuiti localmente, il fine-tuning è una leva più affidabile per l'accuratezza rispetto alla costruzione di una pipeline di recupero.
• Perché il RAG ha Fallito: Gli autori propongono quattro potenziali motivi per la mancanza di efficacia del RAG in questo contesto specifico:
  1. Ragionamento vs. Recupero: Le domande USMLE richiedono un ragionamento complesso e l'integrazione di risultati, che un frammento di testo recuperato non può facilmente accorciare.
  2. Qualità del Corpus: Il corpus di recupero (spiegazioni di MedMCQA) è ampio ma non autorevole, potenzialmente diluendo la conoscenza preesistente del modello.
  3. Limiti di Capacità: I modelli da 4B potrebbero mancare della capacità della finestra di contesto o della capacità di ragionamento per ancorare e integrare efficacemente i chunk recuperati mentre risolvono problemi complessi.
  4. Ridondanza della Conoscenza: MedGemma ha probabilmente già assorbito la conoscenza dei manuali presente nel corpus di recupero, lasciando poco valore marginale da aggiungere al RAG e potenzialmente causando interferenze.
• Implicazione Pratica: Per i professionisti con budget ingegneristici limitati che distribuiscono piccoli LLM medici, priorizzare il fine-tuning di dominio rispetto al RAG è la strategia raccomandata. Il RAG non è dannoso, ma non è un sostituto della conoscenza nei pesi a questa scala.

6. Limitazioni

• Singolo Benchmark: I risultati sono specifici per MedQA-USMLE; il RAG potrebbe performare meglio su compiti di recupero in libro aperto o testuali.
• Singola Scala: I risultati si applicano ai modelli da 4B e potrebbero non estrapolarsi a modelli frontier più grandi (es. 70B+), dove i guadagni del RAG sono spesso più pronunciati.
• Quantizzazione: Entrambi i modelli sono stati quantizzati a 4 bit, il che potrebbe introdurre lievi spostamenti nell'accuratezza, sebbene il confronto appaiato isoli gli effetti relativi.