Neuron Level Analysis of Large Language Model in Legal Domain Reasoning

Resumo Técnico: Análise em Nível de Neurônio de Grandes Modelos de Linguagem no Raciocínio do Domínio Jurídico

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado usabilidade prática em tarefas gerais, seu desempenho em domínios aplicados como direito, matemática e medicina permanece insuficiente. No domínio jurídico especificamente, os LLMs de código aberto em geral falham em passar em questões de exames da ordem dos advogados. Melhorar o desempenho normalmente requer treinamento adicional, mas a construção de conjuntos de dados abrangentes é dificultada pela privacidade de dados, segredos comerciais e pelas diferenças fundamentais entre jurisdições, o que limita a transferibilidade do conhecimento. Além disso, a pesquisa de interpretabilidade existente tem se concentrado amplamente em capacidades gerais ou domínios específicos como a matemática, com pouca análise dedicada aos mecanismos internos do raciocínio jurídico ou de como os neurônios específicos de tarefas no direito se comparam aos de outros domínios aplicados.

Metodologia
Os autores propõem uma análise em nível de neurônio para identificar e validar neurônios específicos de tarefas em sete modelos de pesos abertos (incluindo variantes de Qwen, Gemma, GPT-OSS, Olmo e Llama) e sete tarefas distintas. As tarefas incluem três benchmarks jurídicos (LexEval, LexGLUE, LEXam) cobrindo as jurisdições chinesa, americana e suíça, além de tarefas não jurídicas: raciocínio matemático (GSM8K), QA médica (MedQA), raciocínio físico/espacial (PIQA) e tradução (WMT19).

A metodologia central envolve:

1. Pontuação de Atribuição de Neurônio: Utilizando uma aproximação de Taylor de primeira ordem do gradiente (gradiente × ativação) para atribuir uma pontuação de importância a cada neurônio para uma determinada tarefa. Isso evita o custo computacional de Gradientes Integrados completos.
2. Seleção e Supressão: Identificação dos 0,5% superiores de neurônios com as maiores pontuações de atribuição agregadas em uma divisão de treinamento. Durante a inferência na divisão de teste, as ativações desses neurônios selecionados são suprimidas (definidas como zero).
3. Experimentos de Controle: Comparação da queda de desempenho contra um baseline onde o mesmo número de neurônios é selecionado uniformemente de forma aleatória.
4. Análise Transversal de Tarefas: Investigação de se os neurônios identificados para uma tarefa afetam outras, e isolamento de neurônios "verdadeiramente" específicos de tarefas através da remoção de um pequeno subconjunto de neurônios "compartilhados" influentes em todas as sete tarefas.

Principais Resultados

• Influência Causal dos Neurônios Identificados: A supressão dos 0,5% superiores de neurônios identificados para uma tarefa específica causa um colapso dramático na precisão (frequentemente para próximo de zero) para essa tarefa. Em contraste, a supressão do mesmo número de neurônios aleatórios resulta em uma degradação de desempenho negligenciável, confirmando que os neurônios identificados são causalmente críticos para a tarefa alvo.
• Especificidade de Tarefa vs. Neurônios Compartilhados: O estudo descobriu um pequeno subconjunto de neurônios (variando de 0 a ~2.000, dependendo do modelo) que são influentes em todas as sete tarefas. Quando esses neurônios "compartilhados" são removidos da lista de classificação superior, os neurônios restantes exibem alta especificidade de tarefa: suprimir o deles degrada apenas a tarefa da qual foram identificados, deixando as outras tarefas amplamente inalteradas.
• Características do Domínio Jurídico: Dentro do domínio jurídico, os três benchmarks (LexEval, LexGLUE, LEXam) exibem uma sobreposição de neurônios relativamente alta. Suprimir neurônios identificados de uma tarefa jurídica tende a degradar o desempenho em outras tarefas jurídicas, sugerindo a existência de componentes jurídicos ou estruturas de raciocínio que abrangem diferentes jurisdições.
• Distribuição de Camadas: A distribuição de neurônios influentes não apoia universalmente a hipótese de que eles estão concentrados nas camadas MLP intermediárias. Os autores observam que essa distribuição parece depender do formato e do conteúdo da entrada, em vez de ser um fenômeno universal.
• Variabilidade do Modelo: O grau de especificidade de tarefa varia por modelo. Por exemplo, em modelos como GPT-OSS-20B e Gemma-3-12B-it, o método isola com sucesso neurônios específicos de tarefas. No entanto, em modelos como Qwen3-8B e Qwen3-14B, a supressão dos neurônios identificados causou quedas de desempenho em quase todas as tarefas, tornando difícil isolar neurônios específicos de domínio nesses casos específicos.

Significância e Alegações
O artigo afirma fornecer a primeira análise em nível de neurônio comparando o raciocínio jurídico com outros domínios aplicados. Sua principal contribuição é demonstrar que, embora os LLMs contenham um pequeno conjunto de neurônios de uso geral compartilhados entre diversas tarefas, eles também possuem neurônios genuinamente específicos de tarefas que podem ser isolados através de supressão baseada em atribuição.

Os autores argumentam que a identificação desses neurônios oferece um caminho potencial para melhorar o desempenho da tarefa sem treinamento adicional do modelo, aproveitando insights de interpretabilidade para manipular diretamente o comportamento do modelo. Especificamente em relação ao domínio jurídico, as descobertas sugerem que o raciocínio jurídico depende de um conjunto distinto de componentes neurais que, embora se sobreponham entre jurisdições, são separáveis do raciocínio geral ou de outros domínios aplicados. O estudo também desafia a universalidade das hipóteses anteriores sobre a distribuição de camada por camada dos neurônios influentes, sugerindo que o conteúdo e o formato da entrada desempenham um papel significativo.