Re-Ranking Through an Attribution Lens for Citation Quality in Legal QA

Resumen Técnico: Re-clasificación mediante una lente de atribución para la calidad de las citas en QA legal

Planteamiento del problema
Los sistemas de generación aumentada por recuperación (RAG) para la respuesta a preguntas (QA) legal dependen típicamente de la similitud semántica para recuperar pasajes, asumiendo que los documentos con mayor clasificación son los más útiles para que el modelo de lenguaje (LM) los cite. Sin embargo, esta suposición falla en dominios especializados como la jurisprudencia del Tribunal Europeo de Derechos Humanos (TEDH). En el benchmark AQuAECHR, la similitud semántica entre una consulta y los pasajes recuperados muestra efectivamente ninguna correlación con las puntuaciones de atribución basadas en perturbaciones, las cuales miden la influencia causal real de un pasaje sobre la respuesta generada. En consecuencia, los recuperadores estándar suelen presentar precedentes temáticamente relacionados pero doctrinalmente irrelevantes, lo que provoca que el generador ignore la evidencia de alto rango o realice una "post-racionalización" de las afirmaciones utilizando la memoria paramétrica en lugar del contexto proporcionado. Además, la clasificación basada en la similitud semántica tiene un desempeño inferior al de la selección aleatoria al posicionar los párrafos de citas "oro" dentro del conjunto de candidatos.

Metodología
Los autores proponen un pipeline que reconvierten los métodos de atribución basados en perturbaciones como una señal de entrenamiento para la re-clasificación de pasajes, en lugar de utilizarlos únicamente para la explicación post-hoc. El enfoque consta de tres etapas:

1. Puntuación de Atribución: Para cada pregunta, se recuperan los 10 pasajes principales utilizando un bi-encoder denso GTR-T5-XL. Un modelo de lenguaje (Mistral-7B o Llama-3-8B) genera una respuesta, y se aplica C-LIME (un método de atribución lineal basado en perturbaciones) para calcular puntuaciones continuas para todos los pasajes. Estas puntuaciones cuantifican cuánto cambia la salida generada cuando se elimina un pasaje específico, distinguiendo los pasajes en los que el modelo confía de aquellos que ignora.
2. Entrenamiento del Cross-Encoder: Un cross-encoder ligero (ms-marco-MiniLM-L-6-v2) es entrenado para predecir estas puntuaciones continuas de C-LIME a partir de pares pregunta-pasaje. El modelo se entrena utilizando la pérdida de error cuadrático medio contra los objetivos de atribución. Este proceso se repite para cada modelo de lenguaje y mediante una validación cruzada de cinco pliegues, resultando en diez re-clasificadores distintos.
3. Re-clasificación y Generación: Durante la inferencia, el recuperador obtiene los 50 pasajes principales. El cross-encoder entrenado vuelve a puntuar estos candidatos, y los 10 mejores se pasan al modelo de lenguaje para la generación de la respuesta. Este paso añade una latencia mínima (<1% del tiempo total) y no requiere llamadas adicionales al LLM.

Contribuciones Clave

1. La Atribución como Señal de Entrenamiento: El trabajo transiciona la atribución basada en perturbaciones de una herramienta de explicación post-hoc a una señal de entrenamiento para la re-clasificación de pasajes. Esto resulta en una mejora de la fidelidad de las citas y la alineación con las respuestas de expertos "oro".
2. Arquitectura vs. Señal de Entrenamiento: Los autores demuestran que las mejoras de rendimiento provienen específicamente de entrenar con puntuaciones de atribución, no simplemente de la arquitectura del cross-encoder. Un cross-encoder pre-entrenado sin el entrenamiento de C-LIME captura menos de la mitad de las ganancias de citación logradas por el modelo entrenado con atribución.
3. Convergencia entre Modelos: Dos re-clasificadores entrenados independientemente en diferentes modelos de lenguaje (Mistral y Llama) convergen hacia un alto acuerdo (correlación de Spearman de 0.858) a pesar de que sus puntuaciones de atribución brutas coinciden solo en 0.480. Esto indica que el cross-encoder reduce el ruido específico del modelo y aprende una señal de relevancia compartida que se transfiere entre modelos, aunque la re-clasificación del mismo modelo sigue siendo más efectiva.

Resultados
Evaluado en el benchmark AQuAECHR (1,116 preguntas), el re-clasificador entrenado con C-LIME supera consistentemente al baseline y a un re-clasificador solo pre-entrenado en las seis métricas:

• Fidelidad de la Cita: Mejora en +5.02 puntos porcentuales (pp) para Mistral y +2.70 pp para Llama.
• Similitud de Cita basada en NLI: Mejora en +6.67 pp (Mistral) y +5.72 pp (Llama).
• Recuperación de Citas de Oro: Bajo la clasificación de similitud estándar, los párrafos de oro tenían un rango medio de 37.4 de 50. La re-clasificación desplazó este valor a 11.1 (Mistral) y 12.0 (Llama).
• Corrección de la Respuesta: Métricas como ROUGE-L, BERTScore y el Recuerdo de Afirmaciones (Claim Recall) mostraron cambios insignificantes (<0.5 pp), indicando que el re-clasificador mejora la calidad de la cita sin alterar el contenido central de la respuesta.
• Transferencia entre Modelos: Los re-clasificadores entrenados en un modelo y aplicados al otro retuvieron entre el 43% y el 51% de las ganancias de citación del mismo modelo, confirmando la existencia de una señal de relevancia transferible.

Significancia y Reivindicaciones
El artículo sostiene que la brecha entre la relevancia del recuperador y la citabilidad del generador puede reducirse entrenando con medidas de comportamiento de la influencia de los pasajes (atribución) en lugar de la relevancia superficial o los razonamientos auto-reportados. Los autores enfatizan que una única ejecución de atribución offline puede generar datos de entrenamiento para un re-clasificador que mejora la calidad de las citas en el tiempo de inferencia sin costo adicional.

Sin embargo, los autores se mantienen modestos respecto a las implicaciones más amplias. Señalan que su evaluación depende de métricas automáticas basadas en NLI y que se requiere la evaluación de expertos legales para validar si estas mejoras se traducen en ganancias significativas para los profesionales. Reconocen el riesgo de que la re-clasificación basada en el comportamiento del generador pueda reforzar los sesgos existentes del modelo en lugar de promover pasajes objetivamente relevantes, aunque el hallazgo de la convergencia entre modelos sugiere la existencia de una señal compartida. El trabajo se enmarca como una prueba de concepto para el paradigma de "atribución-a-re-clasificación" dentro del dominio del TEDH, dejando como cuestión abierta la generalización futura a modelos más grandes y otras jurisdicciones.