Neuron Level Analysis of Large Language Model in Legal Domain Reasoning

Technische Samenvatting: Analyse op Neuron-niveau van Large Language Models in Juridische Redenering

Probleemstelling
Hoewel Large Language Models (LLM's) praktische bruikbaarheid hebben bereikt in algemene taken, blijft hun prestatie in toegepaste domeinen zoals recht, wiskunde en geneeskunde ontoereikend. Specifiek in het juridische domein falen algemene open-source LLM's vaak bij het beantwoorden van vragen uit juridische examens. Het verbeteren van de prestaties vereist doorgaans aanvullende training, maar het construeren van uitgebreide datasets wordt gehinderd door gegevensprivacy, bedrijfsgeheimen en de fundamentele verschillen tussen juridische jurisdicties, wat de overdraagbaarheid van kennis beperkt. Bovendien heeft bestaand interpretatieonderzoek zich grotendeels gericht op algemene capaciteiten of specifieke domeinen zoals wiskunde, met weinig analyse gewijd aan de interne mechanismen van juridische redenering of hoe taakspecifieke neuronen in het recht zich verhouden tot die in andere toegepaste domeinen.

Methodologie
De auteurs stellen een analyse op neuron-niveau voor om taakspecifieke neuronen te identificeren en te valideren over zeven open-weight modellen (waaronder varianten van Qwen, Gemma, GPT-OSS, Olmo en Llama) en zeven verschillende taken. De taken omvatten drie juridische benchmarks (LexEval, LexGLUE, LEXam) die de Chinese, Amerikaanse en Zwitserse jurisdicties dekken, naast niet-juridische taken: wiskundige redenering (GSM8K), medische QA (MedQA), fysieke/ruimtelijke redenering (PIQA) en vertaling (WMT19).

De kernmethodologie omvat:

1. Neuron Attributie Score: Het gebruik van een eerste-orde Taylor-benadering van de gradiënt (gradiënt × activatie) om een belangrijkheidsscore toe te kennen aan elk neuron voor een gegeven taak. Dit vermijdt de computationele kosten van volledige Integrated Gradients.
2. Selectie en Onderdrukking: Het identificeren van de top 0,5% van de neuronen met de hoogste geaggregeerde attributiescores op een trainingssplit. Tijdens de inferentie op de testsplit worden de activaties van deze geselecteerde neuronen onderdrukt (op nul gezet).
3. Controlexperimenten: Het vergelijken van de prestatiedaling met een baseline waarbij hetzelfde aantal neuronen willekeurig wordt geselecteerd.
4. Cross-Taak Analyse: Onderzoeken of neuronen geïdentificeerd voor één taak andere taken beïnvloeden, en het isoleren van "echt" taakspecifieke neuronen door een kleine subset van "gedeelde" neuronen te verwijderen die invloedrijk zijn over alle zeven taken.

Belangrijkste Resultaten

• Causale Invloed van Geïdentificeerde Neuronen: Het onderdrukken van de top 0,5% van de geïdentificeerde neuronen voor een specifieke taak veroorzaakt een dramatische instorting van de nauwkeurigheid (vaak naar bijna nul) voor die taak. In tegenstelling hiertoe resulteert het onderdrukken van hetzelfde aantal willekeurige neuronen in een verwaarloosbare prestatieverslechtering, wat bevestigt dat de geïdentificeerde neuronen causaal cruciaal zijn voor de doeltaak.
• Taakspecificiteit versus Gedeelde Neuronen: De studie vond een kleine subset van neuronen (variërend van 0 tot ~2.000, afhankelijk van het model) die invloedrijk zijn over alle zeven taken. Wanneer deze "gedeelde" neuronen worden verwijderd uit de top-gerangschikte lijst, vertonen de resterende neuronen een hoge taakspecificiteit: het onderdrukken ervan verslechtert alleen de taak waarvoor ze waren geïdentificeerd, terwijl andere taken grotendeels onveranderd blijven.
• Kenmerken van het Juridische Domein: Binnen het juridische domein vertonen de drie benchmarks (LexEval, LexGLUE, LEXam) een relatief hoge neuronale overlap. Het onderdrukken van neuronen geïdentificeerd vanuit één juridische taak heeft de neiging de prestaties op andere juridische taken te verslechteren, wat suggereert dat er juridische componenten of redeneerstructuren bestaan die verschillende jurisdicties overspannen.
• Laagdistributie: De distributie van invloedrijke neuronen ondersteunt niet universeel de hypothese dat zij geconcentreerd zijn in middelste MLP-lagen. De auteurs observeren dat deze distributie afhankelijk lijkt te zijn van het invoerformaat en de inhoud, in plaats van een universeel fenomeen te zijn.
• Modelvariabiliteit: De mate van taakspecificiteit varieert per model. In modellen zoals GPT-OSS-20B en Gemma-3-12B-it slaagt de methode er bijvoorbeeld in om taakspecifieke neuronen te isoleren. Echter, in modellen zoals Qwen3-8B en Qwen3-14B veroorzaakte het onderdrukken van geïdentificeerde neuronen prestatiedalingen over bijna alle taken, waardoor het moeilijk was om in die specifieke gevallen domeinspecifieke neuronen te isoleren.

Betekenis en Claims
Het artikel claimt de eerste analyse op neuron-niveau te bieden die juridische redenering vergelijkt met andere toegepaste domeinen. De primaire bijdrage is het aantonen dat, hoewel LLM's een kleine set algemene neuronen bevatten die gedeeld worden over diverse taken, ze ook werkelijk taakspecifieke neuronen bezitten die geïsoleerd kunnen worden via attributie-gebaseerde onderdrukking.

De auteurs stellen dat het identificeren van deze neuronen een potentiële weg biedt om de taakprestaties te verbeteren zonder aanvullende modeltraining, door gebruik te maken van interpretatie-inzichten om het gedrag van het model direct te manipuleren. Specifiek met betrekking tot het juridische domein suggereren de bevindingen dat juridische redenering steunt op een onderscheidende set neurale componenten die, hoewel ze overlappen tussen jurisdicties, scheidbaar zijn van algemene redenering of andere toegepaste domeinen. De studie daagt ook de universaliteit van eerdere hypothesen over de laag-gewijze distributie van invloedrijke neuronen uit, door te suggereren dat invoerinhoud en -formaat een significante rol spelen.