Domain Fine-Tuning FinBERT on Finnish Histopathological Reports: Train-Time Signals and Downstream Correlations

Titolo

Domain Fine-Tuning di FinBERT su Referti Istopatologici Finlandesi: Segnali durante l'Addestramento e Correlazioni con Compiti a Valle

1. Problema e Motivazione

Il lavoro nasce dalla necessità di ottimizzare l'uso dell'Intelligenza Artificiale nel settore sanitario, in particolare per la lingua finlandese, una lingua minoritaria con strutture grammaticali complesse.

• Sfida dei Dati: In ambito medico, l'acquisizione di dataset etichettati è spesso lenta, costosa e soggetta a regolamentazioni severe. Spesso si dispone di grandi quantità di testo non etichettato (es. referti istopatologici) ma si deve attendere mesi per ottenere le etichette necessarie per l'addestramento supervisionato.
• Obiettivo: L'obiettivo principale è determinare se è possibile prevedere il beneficio di un Domain Fine-Tuning (DFT) specifico su un modello linguistico (FinBERT) osservando esclusivamente i segnali geometrici e le dinamiche di perdita (loss) durante l'addestramento su dati non etichettati, prima ancora di avere accesso alle etichette per il compito finale.
• Contesto: Si vuole evitare l'uso di modelli multilingue generici o approcci basati sulla traduzione, che si sono dimostrati inferiori rispetto a modelli specifici per la lingua e il dominio (come dimostrato in letteratura per il finlandese e altre lingue a risorse limitate).

2. Metodologia

Gli autori hanno condotto un esperimento di Domain Fine-Tuning (DFT) sul modello FinBERT (TurkuNLP/bert-base-finnish-cased-v1) utilizzando il task Masked Language Modeling (MLM).

• Dataset:
  • Dati di DFT: Sono stati utilizzati diversi corpus finlandesi, inclusi dati pubblici (YLE, Wikipedia, Finlex, Gutenberg, Webcrawl) e un dataset medico privato di referti istopatologici fornito dal Central Finland Biobank.
  • Split dei dati: I dataset sono stati divisi in tre insiemi (A/B/C):
    • Set A: Utilizzato per l'addestramento DFT.
    • Set B: Utilizzato per il test DFT e per l'estrazione degli embedding (analisi geometrica).
    • Set B e C: Utilizzati per compiti di classificazione (con etichette disponibili solo per alcuni dataset pubblici; il dataset istopatologico è stato usato solo per DFT e analisi geometrica, senza classificazione finale).
• Analisi Geometrica degli Embedding:
  Per misurare quanto il modello si sia adattato al nuovo dominio, gli autori hanno estratto i vettori di embedding [CLS] dal Set B sia dal modello base che da quello fine-tuned. Hanno applicato diverse metriche di similarità e geometria:
  • CKA (Centered Kernel Alignment): Per misurare la similarità strutturale tra gli spazi di rappresentazione.
  • Procrustes Analysis: Per valutare l'allineamento ottimale tra le forme degli embedding.
  • RSA (Representational Similarity Analysis): Per confrontare le strutture di correlazione.
  • Isotropia e Clustering: Analisi della distribuzione uniforme degli embedding nello spazio latente (Effective Rank, Partition Function) e capacità di raggruppamento semantico (K-means, Silhouette score, ARI, NMI).
• Compiti di Classificazione:
  Per validare l'utilità del DFT, sono stati eseguiti compiti di classificazione (Logistic Regression e k-NN) su piccoli subset di dati etichettati (100-1000 campioni) utilizzando gli embedding generati. Le metriche di performance sono state normalizzate (Error Reduction Rate, Logit delta) per confrontare domini con livelli di accuratezza di base diversi.

3. Risultati Chiave

• Dinamiche della Loss durante l'Addestramento:

  • I dataset già familiari al modello (es. YLE, che faceva parte del pre-training originale) hanno mostrato una riduzione della loss quasi nulla o molto lieve.
  • I dataset nuovi e specifici (es. Finlex e Istopatologia) hanno mostrato un calo drastico della loss. Questo suggerisce che il modello ha appreso nuove rappresentazioni significative per questi domini.
  • La forma della curva di loss può essere interpretata attraverso le leggi di potenza (scaling laws): un calo rapido indica che il dominio era assente o poco rappresentato nel pre-training, riducendo l'errore di stima.

• Correlazioni tra Segnali DFT e Performance di Classificazione:
  Gli autori hanno identificato diverse correlazioni promettenti tra le osservazioni durante il DFT e il miglioramento delle performance di classificazione a valle:

  1. Miglioramento Relativo della Loss: Una forte correlazione positiva tra la riduzione relativa della loss durante il DFT e il miglioramento delle metriche di classificazione (F1/ACC).
  2. Isotropia degli Embedding: Un aumento dell'isotropia (distribuzione più uniforme nello spazio latente) e un cambiamento positivo nell'Effective Rank dopo il DFT correlano con migliori risultati di classificazione.
  3. Cambiamenti negli Strati Inferiori: Grandi cambiamenti negli embedding degli strati bassi del modello (misurati tramite CKA) sembrano indicare un adattamento profondo che beneficia i compiti successivi.
  4. Miglioramento del Clustering: Un aumento delle metriche di clustering (es. ARI) dopo il DFT suggerisce che le rappresentazioni semantiche sono diventate più coerenti, facilitando la classificazione.

• Caso Studio Istopatologico:
  Il dataset istopatologico ha mostrato cambiamenti massicci nella loss e nella geometria degli embedding, indicando che il DFT è stato altamente efficace per questo dominio specifico, anche se non è stato possibile misurare direttamente la classificazione finale a causa della mancanza di etichette.

4. Contributi Principali

1. Validazione dell'Approccio "Wait-Time": Dimostrano che il tempo di attesa per l'etichettatura dei dati medici può essere sfruttato efficacemente per eseguire un DFT e prevedere il suo valore tramite l'analisi delle dinamiche di addestramento.
2. Metriche Predittive: Identificano specifici segnali geometrici (isotropia, delta della loss, cambiamenti negli strati bassi) che possono fungere da proxy per la performance futura su compiti di classificazione, senza bisogno di etichette.
3. Focus su Lingua Minoritaria: Forniscono evidenze empiriche sull'importanza del DFT specifico per il finlandese, superando i limiti dei modelli multilingue.
4. Analisi Comparativa: Offrono un confronto dettagliato tra diversi domini (legge, notizie, medicina, web) mostrando come la "novità" del dominio rispetto al pre-training influenzi l'adattamento.

5. Significato e Implicazioni Future

Questo studio è significativo per l'implementazione di AI in sanità, specialmente in contesti con risorse linguistiche limitate e dati sensibili.

• Efficienza delle Risorse: Permette ai ricercatori di decidere se vale la pena procedere con un costoso processo di etichettatura basandosi su segnali preliminari ottenuti durante il DFT su dati grezzi.
• Sicurezza dei Dati: L'approccio permette di analizzare l'utilità di un dataset medico senza necessariamente esporre le etichette o i dati sensibili a sistemi esterni, operando in ambienti sicuri (come l'ambiente Acamedic menzionato).
• Direzioni Future: Gli autori propongono di estendere queste analisi alla geometria dei pesi del modello e di sviluppare leggi di potenza specifiche per il DFT ("capped power laws") che tengano conto del fatto che il modello ha già visto una parte dei dati durante il pre-training.

In sintesi, il paper dimostra che l'osservazione della geometria degli embedding e delle curve di perdita durante il Domain Fine-Tuning offre strumenti potenti e pratici per valutare e ottimizzare l'adattamento di modelli linguistici a domini medici specialistici, riducendo i rischi e i costi associati all'acquisizione di dati etichettati.