Neuron Level Analysis of Large Language Model in Legal Domain Reasoning

Sintesi Tecnica: Analisi a Livello di Neurone del Ragionamento di Modelli Linguistici di Grandi Dimensioni nel Dominio Legale

Definizione del Problema
Sebbene i modelli linguistici di grandi dimensioni (LLM) abbiano raggiunto un'utilità pratica nei compiti generali, le loro prestazioni in domini applicati come il diritto, la matematica e la medicina rimangono insufficienti. Nello specifico, nel dominio legale, i comuni LLM open-source spesso non riescono a superare i quesiti degli esami di abilitazione forense. Migliorare le prestazioni richiede tipicamente un ulteriore addestramento, ma la costruzione di dataset esaustivi è ostacolata dalla privacy dei dati, dai segreti commerciali e dalle differenze fondamentali tra le giurisdizioni, che limitano la trasferibilità della conoscenza. Inoltre, la ricerca esistente sull'interpretabilità si è concentrata ampiamente sulle capacità generali o su domini specifici come la matematica, con poca analisi dedicata ai meccanismi interni del ragionamento legale o a come i neuroni specifici per il compito nel diritto si confrontino con quelli di altri domini applicati.

Metodologia
Gli autori propongono un'analisi a livello di neurone per identificare e validare i neuroni specifici per il compito attraverso sette modelli open-weight (tra cui varianti di Qwen, Gemma, GPT-OSS, Olmo e Llama) e sette compiti distinti. I compiti includono tre benchmark legali (LexEval, LexGLUE, LEXam) che coprono le giurisdizioni cinese, statunitense e svizzera, insieme a compiti non legali: ragionamento matematico (GSM8K), QA medica (MedQA), ragionamento fisico/spaziale (PIQA) e traduzione (WMT19).

La metodologia centrale prevede:

1. Scoring dell'Attribuzione del Neurone: Utilizzo di un'approssimazione di Taylor del primo ordine del gradiente (gradiente × attivazione) per assegnare un punteggio di importanza a ciascun neurone per un dato compito. Ciò evita il costo computazionale dei Gradienti Integrati completi.
2. Selezione e Soppressione: Identificazione dello 0,5% dei neuroni con i più alti punteggi di attribuzione aggregati su una suddivisione di addestramento (training split). Durante l'inferenza sulla suddivisione di test (test split), le attivazioni di questi neuroni selezionati vengono soppresse (impostate a zero).
3. Esperimenti di Controllo: Confronto del calo di prestazioni rispetto a un baseline in cui lo stesso numero di neuroni viene selezionato casualmente.
4. Analisi Cross-Task: Investigazione se i neuroni identificati per un compito influenzino altri, e isolamento dei neuroni "veramente" specifici per il compito rimuovendo un piccolo sottoinsieme di neuroni "condivisi" influenti in tutti i sette compiti.

Risultati Chiave

• Influenza Causale dei Neuroni Identificati: La soppressione dello 0,5% dei neuroni identificati per un compito specifico causa un drastico collasso dell'accuratezza (spesso vicino allo zero) per quel compito. Al contrario, la soppressione dello stesso numero di neuroni scelti casualmente produce un calo delle prestazioni trascurabile, confermando che i neuroni identificati sono causalmente critici per il target del compito.
• Specificità del Compito vs. Neuroni Condivisi: Lo studio ha rilevato un piccolo sottoinsieme di neuroni (da 0 a circa 2.000 a seconda del modello) che sono influenti in tutti i sette compiti. Quando questi neuroni "condivisi" vengono rimossi dalla lista dei primi classificati, i neuroni rimanenti mostrano un'alta specificità per il compito: la loro soppressione degrada solo il compito da cui sono stati identificati, lasciando gli altri compiti sostanzialmente inalterati.
• Caratteristiche del Dominio Legale: All'interno del dominio legale, i tre benchmark (LexEval, LexGLUE, LEXam) mostrano una sovrapposizione di neuroni relativamente alta. Sopprimere i neuroni identificati da un compito legale tende a degradare le prestazioni su altri compiti legali, suggerendo l'esistenza di componenti legali o strutture di ragionamento che spaziano tra diverse giurisdizioni.
• Distribuzione degli Strati: La distribuzione dei neuroni influenti non supporta universalmente l'ipotesi che siano concentrati negli strati MLP centrali. Gli autori osservano che questa distribuzione sembra dipendere dal formato e dal contenuto dell'input piuttosto che essere un fenomeno universale.
• Variabilità del Modello: Il grado di specificità del compito varia in base al modello. Ad esempio, in modelli come GPT-OSS-20B e Gemma-3-12B-it, il metodo isola con successo i neuroni specifici per il compito. Tuttavia, in modelli come Qwen3-8B e Qwen3-14B, la soppressione dei neuroni identificati ha causato cali di prestazioni in quasi tutti i compiti, rendendo difficile isolare i neuroni specifici del dominio in tali casi specifici.

Significatività e Rivendicazioni
Il documento sostiene di fornire la prima analisi a livello di neurone che confronti il ragionamento legale con altri domini applicati. Il suo contributo primario è dimostrare che, mentre gli LLM contengono un piccolo set di neuroni general-purpose condivisi tra diversi compiti, possiedono anche neuroni genuinamente specifici per il compito che possono essere isolati tramite soppressione basata sull'attribuzione.

Gli autori sostengono che l'identificazione di questi neuroni offra una potenziale via per migliorare le prestazioni dei compiti senza ulteriore addestramento del modello, sfruttando le intuizioni dell'interpretabilità per manipolare direttamente il comportamento del modello. Specificamente riguardo al dominio legale, le scoperte suggeriscono che il ragionamento legale si basa su un set distinto di componenti neurali che, pur sovrapponendosi tra le giurisdizioni, sono separabili dal ragionamento generale o da altri domini applicati. Lo studio mette inoltre in discussione l'universalità delle precedenti ipotesi riguardanti la distribuzione per strati dei neuroni influenti, suggerendo che il contenuto e il formato dell'input giochino un ruolo significativo.