Neuron Level Analysis of Large Language Model in Legal Domain Reasoning

Resumen Técnico: Análisis a Nivel de Neurona del Razonamiento de Modelos de Lenguaje Extensos en el Dominio Jurídico

Planteamiento del Problema
Aunque los Modelos de Lenguaje Extensos (LLM) han alcanzado una utilidad práctica en tareas generales, su rendimiento en dominios aplicados como el derecho, las matemáticas y la medicina sigue siendo insuficiente. En el dominio jurídico específicamente, los LLM de código abierto general suelen fallar al superar preguntas de exámenes de abogacía. Mejorar el rendimiento suele requerir un entrenamiento adicional, pero la construcción de conjuntos de datos exhaustivos se ve obstaculida por la privacidad de los datos, los secretos comerciales y las diferencias fundamentales entre las jurisdicciones legales, lo que limita la transferibilidad del conocimiento. Además, la investigación de interpretabilidad existente se ha centrado principalmente en capacidades generales o dominios específicos como las matemáticas, con poco análisis dedicado a los mecanismos internos del razonamiento jurídico o a cómo las neuronas específicas de tareas en derecho se comparan con las de otros dominios aplicados.

Metodología
Los autores proponen un análisis a nivel de neurona para identificar y validar neuronas específicas de tareas en siete modelos de pesos abiertos (incluyendo variantes de Qwen, Gemma, GPT-OSS, Olmo y Llama) y siete tareas distintas. Las tareas incluyen tres evaluaciones de referencia jurídica (LexEval, LexGLUE, LEXam) que cubren las jurisdicciones de China, EE. UU. y Suiza, junto con tareas no jurídicas: razonamiento matemático (GSM8K), preguntas y respuestas médicas (MedQA), razonamiento físico/espacial (PIQA) y traducción (WMT19).

La metodología central consiste en:

1. Puntuación de Atribución de Neuronas: Utilizar una aproximación de Taylor de primer orden del gradiente (gradiente × activación) para asignar una puntuación de importancia a cada neurona para una tarea determinada. Esto evita el coste computacional de los Gradientes Integrados completos.
2. Selección y Supresión: Identificar el 0.5% superior de las neuronas con las puntuaciones de atribución agregadas más altas en una división de entrenamiento. Durante la inferencia en la división de prueba, las activaciones de estas neuronas seleccionadas se suprimen (se establecen en cero).
3. Experimentos de Control: Comparar la caída del rendimiento frente a un grupo de control donde el mismo número de neuronas se selecciona de forma aleatoria y uniforme.
4. Análisis Transversal de Tareas: Investigar si las neuronas identificadas para una tarea afectan a otras, e aislar las neuronas "verdaderamente" específicas de la tarea eliminando un pequeño subconjunto de neuronas "compartidas" influyentes en las siete tareas.

Result ผลados Clave

• Influencia Causal de las Neuronas Identificadas: La supresión del 0.5% superior de las neuronas identificadas para una tarea específica provoca un colapso dramático en la precisión (a menudo cercano a cero) para esa tarea. En contraste, la supresión del mismo número de neuronas aleatorias resulta en una degradación del rendimiento insignificante, confirmando que las neuronas identificadas son causalmente críticas para la tarea objetivo.
• Especificidad de la Tarea frente a Neuronas Compartidas: El estudio encontró un pequeño subconjunto de neuronas (que varía de 0 a ~2,000 dependiendo del modelo) que son influyentes en las siete tareas. Cuando estas neuronas "compartidas" se eliminan de la lista de mayor rango, las neuronas restantes exhiben una alta especificidad de tarea: su supresión degrada únicamente la tarea de la que fueron identificadas, dejando las otras tareas prácticamente inalteradas.
• Características del Dominio Jurídico: Dentro del dominio jurídico, las tres evaluaciones de referencia (LexEval, LexGLUE, LEXam) exhiben un solapamiento de neuronas relativamente alto. La supresión de las neuronas identificadas de una tarea jurídica tiende a degradar el rendimiento en otras tareas jurídicas, lo que sugiere la existencia de componentes legales o estructuras de razonamiento que abarcan diferentes jurisdicciones.
• Distribución de Capas: La distribución de las neuronas influyentes no respalda universalmente la hipótesis de que estas se concentran en las capas MLP intermedias. Los autores observan que esta distribución parece depender del formato y el contenido de la entrada en lugar de ser un fenómeno universal.
• Variabilidad del Modelo: El grado de especificidad de la tarea varía según el modelo. Por ejemplo, en modelos como GPT-OSS-20B y Gemma-3-12B-it, el método logra aislar con éxito las neuronas específicas de la tarea. Sin embargo, en modelos como Qwen3-8B y Qwen3-14B, la supresión de las neuronas identificadas causó caídas de rendimiento en casi todas las tareas, dificultando el aislamiento de neuronas específicas del dominio en esos casos particulares.

Significación y Reivindicaciones
El artículo afirma proporcionar el primer análisis a nivel de neurona que compara el razonamiento jurídico con otros dominios aplicados. Su principal contribución es demostrar que, si bien los LLM contienen un pequeño conjunto de neuronas de propósito general compartidas entre diversas tareas, también poseen neuronas genuinamente específicas de la tarea que pueden aislarse mediante la supresión basada en la atribución.

Los autores argumentan que la identificación de estas neuronas ofrece una vía potencial para mejorar el rendimiento de las tareas sin entrenamiento adicional del modelo, aprovechando los conocimientos de interpretabilidad para manipular directamente el comportamiento del modelo. Específicamente respecto al dominio jurídico, los hallazgos sugieren que el razonamiento jurídico depende de un conjunto distinto de componentes neuronales que, aunque se solapan entre jurisdicciones, son separables del razonamiento general u otros dominios aplicados. El estudio también desafía la universalidad de las hipótesis previas sobre la distribución por capas de las neuronas influyentes, sugiriendo que el contenido y el formato de la entrada juegan un papel significativo.