Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA

Resumo Técnico: Reclassificação através de uma Lente de Atribuição para Qualidade de Citação em QA Jurídico

Definição do Problema
Sistemas de geração aumentada por recuperação (RAG) para perguntas e respostas (QA) jurídicas dependem tipicamente de similaridade semântica para recuperar passagens, assumindo que os documentos classificados no topo são os mais úteis para o modelo de linguagem (LM) citar. No entanto, essa premissa falha em domínios especializados como a jurisprência da Corte Europeia dos Direitos Humanos (ECHR). No benchmark AQuAECHR, a similaridade semântica entre uma consulta e as passagens recuperadas mostra efetivamente nenhuma correlação com as pontuações de atribuição baseadas em perturbação, que medem a influência causal real de uma passagem sobre a resposta gerada. Consequentemente, recuperadores padrão frequentemente apresentam precedentes topicamente relacionados, mas doutrinariamente irrelevantes, fazendo com que o gerador ignore evidências de alto ranking ou realize uma "pós-racionalização" de afirmações usando a memória paramétrica em vez do contexto forneido. Além disso, a classificação baseada em similaridade semântica apresenta um desempenho inferior ao da seleção aleatória ao identificar parágrafos de citação "gold" dentro do conjunto de candidatos.

Metodologia
Os autores propõem um pipeline que reaproveita métodos de atribuição baseados em perturbação como um sinal de treinamento para a reclassificação de passagens, em vez de utilizá-los apenas para explicação post-hoc. A abordagem consiste em três estágios:

1. Pontuação de Atribuição: Para cada pergunta, as 10 principais passagens são recuperadas usando um bi-encoder denso GTR-T5-XL. Um modelo de linguagem (Mistral-7B ou Llama-3-8B) gera uma resposta, e o C-LIME (um método de atribuição linear baseado em perturbação) é aplicado para calcular pontuações contínuas para todas as passagens. Essas pontuações quantificam o quanto a saída gerada muda quando uma passagem específica é removida, distinguindo as passagens das quais o modelo depende daquelas que ele ignora.
2. Treinamento de Cross-Encoder: Um cross-encoder leve (ms-marco-MiniLM-L-6-v2) é treinado para prever essas pontuações contínuas de C-LIME a partir de pares questão-passagem. O modelo é treinado usando perda de erro quadrático médio contra os alvos de atribuição. Este processo é repetido para cada modelo de linguagem e via validação cruzada de cinco dobras, resultando em dez reclassificadores distintos.
3. Reclassificação e Geração: Durante a inferência, o recuperador busca as 50 principais passagens. O cross-encoder treinado reclassifica esses candidatos, e os 10 melhores são passados para o modelo de linguagem para a geração da resposta. Esta etapa adiciona latência mínima (<1% do tempo total) e não requer chamadas adicionais de LLM.

Principais Contribuições

1. Atribuição como Sinal de Treinamento: O trabalho transiciona a atribuição baseada em perturbação de uma ferramenta de explicação post-hoc para um sinal de treinamento para reclassificação de passagens. Isso resulta em melhor fidelidade de citação e alinhamento com respostas de especialistas "gold".
2. Arquitetura vs. Sinal de Treinamento: Os autores demonstram que os ganhos de desempenho advêm especificamente do treinamento em pontuações de atribuição, e não meramente da arquitetura do cross-encoder. Um cross-encoder pré-treinado sem o treinamento C-LIME captura menos da metade dos ganhos de citação alcançados pelo modelo treinado por atribuição.
3. Convergência entre Modelos: Dois reclassificadores treinados independentemente em diferentes modelos de linguagem (Mistral e Llama) convergem para um alto acordo (correlação de Spearman de 0,858), apesar de suas pontuações de atribuição brutas concordarem em apenas 0,480. Isso indica que o cross-encoder reduz o ruído específico do modelo e aprende um sinal de relevância compartilhado que é transferível entre modelos, embora a reclassificação do mesmo modelo permaneça mais eficaz.

Resultos
Avaliado no benchmark AQuAECHR (1.116 perguntas), o reclassificador treinado via C-LIME supera consistentemente o baseline e um reclassificador apenas pré-treinado em todas as seis métricas:

• Fidelidade de Citação: Melhorou em +5,02 pontos percentuais (pp) para o Mistral e +2,70pp para o Llama.
• Similaridade de Citação baseada em NLI: Melhorou em +6,67pp (Mistral) e +5,72pp (Llama).
• Recuperação de Citação Gold: Sob a classificação de similaridade padrão, os parágrafos gold tinham um ranking médio de 37,4 de 50. A reclassificação deslocou isso para 11,1 (Mistral) e 12,0 (Llama).
• Correção da Resposta: Métricas como ROUGE-L, BERTScore e Recall de Alegação viram mudanças negligíveis (<0,5pp), indicando que o reclassificador melhora a qualidade da citação sem alterar o conteúdo central da resposta.
• Transferência entre Modelos: Reclassificadores treinados em um modelo e aplicados ao outro mantiveram 43–51% dos mesmos ganhos de citação do mesmo modelo, confirmando a existência de um sinal de relevância transferível.

Significância e Alegações
O artigo afirma que a lacuna entre a relevância do recuperador e a citabilidade do gerador pode ser reduzida treinando em medidas comportamentais de influência da passagem (atribuição) em vez de relevância superficial ou racionais autorrelatados. Os autores enfatizam que uma única execução de atribuição offline pode gerar dados de treinamento para um reclassificador que melhora a qualidade da citação no tempo de inferência sem custo adicional.

No entanto, os autores permanecem modestos quanto às implicações mais amplas. Eles observam que sua avaliação depende de métricas automáticas baseadas em NLI e que a avaliação de especialistas jurídicos é necessária para validar se essas melhorias se traduzem em ganhos significativos para os profissionais. Eles reconhecem o risco de que a reclassificação baseada no comportamento do gerador possa reforçar vieses existentes do modelo em vez de promover passagens objetivamente relevantes, embora a descoberta de convergência entre modelos sugira a existência de um sinal compartilhado. O trabalho é estruturado como uma prova de conceito para o paradigma "atribuição-para-reclassificação" dentro do domínio da ECHR, deixando a generalização para modelos maiores e outras jurisdições como uma questão em aberto.