💻 ciencias de la computación

Augmented Question-guided Retrieval (AQgR) of Indian Case Law with LLM, RAG, and Structured Summaries

Este artículo propone la Recuperación Aumentada Guiada por Preguntas (AQgR, por sus siglas en inglés), un marco que mejora la recuperación de jurisprudencia india mediante la generación de cuestiones jurídicas para las consultas, el uso de resúmenes de RAG estructurados para el contexto y el empleo de LLM para la reclasificación y la explicación de la relevancia, logrando una Precisión Media Promedio significativamente mayor que los referentes existentes.

Autores originales: Vishnuprabha V, Daleesha M Viswanathan, Rajesh R, Aneesh V Pillai

Publicado 2026-10-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vishnuprabha V, Daleesha M Viswanathan, Rajesh R, Aneesh V Pillai

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo del derecho, encontrar la decisión pasada adecuada para respaldar un caso actual suele ser la parte más laboriosa del trabajo de un abogado. Esto es especialmente cierto en la India, donde las sentencias judiciales son documentos masivos y no estructurados que mezclan hechos, argumentos y fallos en largos bloques de texto continuos. Tradicionalmente, las computadoras han intentado ayudar buscando casos que se parezcan a la situación actual basándose en las palabras específicas utilizadas. Si un abogado describe una disputa sobre el despido de un trabajador de una fábrica, la computadora busca otros casos que mencionen fábricas y trabajadores. Sin embargo, este enfoque a menudo falla porque al derecho le importa más el principio legal subyacente que los detalles específicos de la historia. Dos casos pueden involucrar a personas y entornos completamente diferentes pero depender de la misma cuestión legal exacta, como si una acción gubernamental fue justa. Para resolver esto, los investigadores han recurrido a una nueva generación de inteligencia artificial conocida como modelos de lenguaje de gran tamaño. Estos sistemas pueden leer y comprender el lenguaje humano, pero enfrentan un obstáculo significativo: no pueden leer miles de páginas de texto a la vez. Para trabajar de manera efectiva, necesitan que la información sea comprimida en un tamaño manejable, y necesitan ser guiados por las preguntas adecuadas en lugar de solo por hechos brutos.

Un equipo de investigadores de la Universidad de Ciencia y Tecnología de Cochin y el Laboratorio Oceanográfico y Físico Naval se propuso construir un sistema que pudiera navegar estos desafíos para recuperar la jurisprudencia india. Desarrollaron un marco llamado Recuperación Aumentada Guiada por Preguntas, que opera en dos etapas principales. Primero, el sistema toma una sentencia judicial larga y desordenada y utiliza un modelo de inteligencia artificial para extraer las partes más importantes, como los hechos, los problemas legales planteados y el fallo final, organizándolos en un resumen limpio y estructurado. Este paso es crucial porque reduce un documento que podría tener veinte mil palabras a unos pocos campos clave que quepan dentro de la memoria de la computadora. Segundo, en lugar de buscar casos usando la historia bruta de la disputa actual, el sistema le pide a la inteligencia artificial que genere las preguntas legales específicas que plantea la historia. Luego utiliza estas preguntas legales abstractas para buscar precedentes pasados y, finalmente, un segundo modelo de inteligencia artificial reclasifica los resultados para explicar por qué cada caso pasado es relevante.

Los investigadores probaron este sistema con una gran colección de sentencias de la Corte Suprema de la India. Descubrieron que la forma en que estructuraban la información importaba más que los términos de búsqueda específicos utilizados. Cuando el sistema buscaba casos usando las preguntas legales generadas en lugar de los hechos brutos, encontraba más precedentes relevantes, pero solo cuando las sentencias pasadas habían sido convertidas en esos resúmenes cortos y estructurados. Si el sistema intentaba buscar a través del texto completo y sin editar de las sentencias, las preguntas legales cortas eran demasiado escasas para encontrar una coincidencia. El estudio también reveló un detalle sorprendente sobre cómo el sistema maneja las citas. Incluir los nombres de casos pasados en el resumen en realidad perjudicaba el rendimiento porque añadía demasiado ruido. Sin embargo, cuando el sistema resumía el principio legal detrás de cada cita en lugar de solo enumerar el nombre, los resultados mejoraban significamente. Esto sugiere que la computadora aprende mejor cuando comprende la regla detrás de una referencia en lugar de solo ver la referencia en sí misma.

Para asegurar que el sistema fuera robusto, los investigadores realizaron docenas de experimentos, cambiando cómo se formaban las consultas y cómo se organizaban los datos. Descubrieron que combinar diferentes tipos de búsquedas —usando tanto los hechos del caso como las preguntas legales generadas— ayudaba al sistema a encontrar más casos relevantes en general, aunque a veces hacía que la clasificación final fuera ligeramente menos precisa. También descubrieron que, si bien el sistema podía manejar la mayoría de los documentos bien, las sentencias muy largas a veces fallaban al ser resumidas correctamente, lo que limitaba la capacidad del sistema para encontrar la coincidencia perfecta para ciertas consultas. A pesar de estas limitaciones, el sistema logró un nivel de precisión que fue significativamente mejor que los métodos anteriores, alcanzando una puntuación de aproximadamente 0.312 en una prueba estándar, comparado con aproximadamente 0.157 para los mejores sistemas existentes. Esta mejora se logró sin necesidad de reentrenar la inteligencia artificial con datos legales, demostrando que una forma inteligente de organizar la información puede ser tan poderosa como enseñarle nuevos hechos a la computadora.

El estudio concluye que la clave para hacer que la inteligencia artificial sea útil para la investigación legal no reside en hacer a la computadora más inteligente, sino en presentar la información de una manera que la computadora pueda realmente utilizar. Al comprimir las sentencias largas en resúmenes estructurados y guiar la búsqueda con preguntas legales generadas, los investigadores crearon un proceso que ayuda a los abogados a encontrar los precedentes adecuados más rápido. El sistema no solo proporciona una lista de casos, sino una explicación de una sola frase sobre por qué se eligió cada caso, permitiendo a un abogado decidir rápidamente si el documento completo vale la pena ser leído. Aunque el sistema no es perfecto y todavía tiene dificultades con los documentos más largos, demuestra un camino práctico a seguir. Muestra que, con la estructura adecuada, la inteligencia artificial puede ayudar a navegar el vasto y complejo paisaje del derecho indio, convirtiendo horas de búsqueda en minutos de lectura.

Resumen Técnico: Recuperación Aumentada Guiada por Preguntas (AQgR) de Jurisprudencia India

Planteamiento del Problema
Los profesionales del derecho en la India enfrentan desafíos significativos para recuperar precedentes de jurisprudencia relevantes debido a la naturaleza no estructurada de las sentencias, que a menudo carecen de encabezados consistentes que separen los hechos, los asuntos y el razonamiento. Los sistemas de recuperación tradicionales dependen en gran medida de la coincidencia de similitud basada en hechos (por ejemplo, BM25, incrustaciones densas), lo que a menudo falla al identificar precedentes que comparten el mismo principio legal pero difieren en los detalles fácticos. Además, los sistemas automatizados existentes rara vez explican por qué un precedente es relevante, obligando a los abogados a leer sentencias completas para verificar su aplicabilidad. El desafío central es recuperar casos basados en la doctrina legal compartida en lugar de la similitud fáctica superficial, todo ello gestionando las limitaciones de la ventana de contexto de los Modelos de Lenguaje Extensos (LLM) y evitando las alucinaciones sin necesidad de un ajuste fino (fine-tuning).

Metodología: El Marco AQgR
El marco propuesto de Recuperación Aumentada Guiada por Preguntas (AQgR) opera en dos etapas principales: generación de resúmenes estructurados y un flujo de recuperación de ensamble con reordenación (reranking) basada en LLM.

Generación de Resúmenes Estructurados (RAG):
- Para abordar los límites de la ventana de contexto y la naturaleza no estructurada de las sentencias indias, el sistema utiliza Generación Aumentada por Recuperación (RAG) para extraer campos específicos de las sentencias originales hacia un formato JSON estructurado.
- La Fase 1 utilizó Gemini Pro en un subconjunto de 50 sentencias, empleando la técnica de Cadena de Pensamiento (CoT) para manejar documentos largos procesándolos en fragmentos (chunks).
- La Fase 2 escaló esto a 496 sentencias utilizando Llama 3 70B. Introdujo un flujo de trabajo robusto con decodificación codiciosa (greedy decoding, temperatura=0) y un mecanismo de validación/reparación para asegurar la adherencia consistente al esquema (21 campos, incluyendo Hechos, Asuntos, Razonamiento y Nuevo Principio Legal).
- Crucialmente, el sistema extrae "Nuevos Principios Legales" y "Principios de Citación" (la regla detrás de una cita) en lugar de solo los nombres de las citas, para reducir el ruido.
Flujo de Recuperación:
- Formulación de la Consulta: El sistema genera tres frases de asuntos legales abstractos a partir de los hechos de entrada mediante un LLM. Estas se concatenan en una cadena separada por tuberías ( $q_I$ ).
- Recuperación de Primera Etapa: Un recuperador híbrido "B5" combina BM25 (ponderado en 0.7) y recuperación densa FAISS (ponderada en 0.3). El sistema prueba tres tipos de consultas: solo Hechos ( $q_F$ ), solo Asuntos ( $q_I$ ) y Hechos+Asuntos ( $q_{FI}$ ).
- Reordenación de Segunda Etapa: Un LLM reordena los 100 candidatos de la primera etapa. El prompt de reordenación utiliza la consulta combinada de Hechos+Asuntos ( $q_{FI}$ ) para razonar sobre el conjunto de candidatos, el cual está representado por los campos JSON estructurados. El LLM genera una lista clasificada de los 20 mejores casos con una explicación de relevancia de una línea para cada uno.

Contribuciones Clave
El artículo identifica varias contribuciones específicas al Procesamiento de Lenguaje Natural (NLP) legal y a la IA:

Alineación de Densidad de Consulta-Documento: El estudio establece que el rendimiento de la recuperación depende de igualar la densidad léxica de la consulta con la representación del documento. Las consultas cortas basadas en asuntos funcionan mal contra las sentencias de texto plano largas y no estructuradas, pero sobresalen contra resúmenes estructurados comprimidos. Por el contrario, las consultas largas y descriptivas son necesarias para la recuperación de texto plano.
Hallazgo de Contenido de Citación: El artículo demuestra que incluir nombres completos de las citas añade ruido y consume espacio de contexto. Sin embargo, incluir el principio legal detrás de una cita mejora significativamente el rendimiento de la reordenación.
Flujo de Trabajo Zero-Shot de LLM: Los autores presentan un flujo de recuperación y reordenación que logra resultados competitivos sin necesidad de un ajuste fino específico para la tarea, basándose en su lugar en resúmenes estructurados e ingeniería de prompts.
Gestión de la Ventana de Contexto: El trabajo demuestra que reducir las sentencias a un conjunto específico de seis campos clave (Hechos, Asuntos, Razonamiento, Nuevo Principio Legal, Temas Importantes y Principios de Citación) permite que 227 de las 496 sentencias quepan dentro de una sola ventana de contexto de un LLM simultáneamente, en comparación con solo 98 cuando se retienen los 21 campos, haciendo que la reordenación a gran escala sea práctica sin necesidad de una ventana de contexto más grande.
Ablación Sistemática: A través de ocho experimentos controlados, el artículo aísla el impacto de la formulación de la consulta, el formato del documento, las estrategias de agrupación (pooling) y los prompts de reordenación, revelando que la representación del documento es un factor de mayor influencia para el rendimiento que el tipo de consulta por sí solo.

Resultos

Fase 1 (Gemini Pro): En un corpus de 50 sentencias (14 consultas), el sistema alcanzó una Precisión Media de la Relevancia (MAP) de 0.365 y una Recuperación (Recall) de 0.672. Incluir las citas completas de los precedentes en los resúmenes degradó el rendimiento, confirmando la necesidad de una extracción selectiva.
Fase 2 (Llama 3 70B): En un corpus de 496 sentencias (50 consultas), la mejor configuración (recuperador híbrido B5 con consultas cortas de asuntos, formato estructurado V4 y reordenación de Hechos+Asuntos) logró un MAP de aproximadamente 0.312.
- Comparación con Baselines: Este resultado está muy por encima del MAP de 0.1573 del leaderboard de FIRE 2020, aunque los autores señalan que los conjuntos de datos y protocolos no son directamente comparables.
- Rendimiento de Consultas: En los resúmenes estructurados, la recuperación basada en asuntos superó a la basada en hechos. Sin embargo, un pool de unión (que combina hechos, asuntos y consultas combinadas) aumentó el techo de recuperación pero diluyó la calidad del ranking; el pool de solo asuntos produjo el mejor MAP.
- Formato de Documento: El Formato V4 (que incluye "principios de citación" en lugar de nombres) superó a todos los demás formatos, incluyendo aquellos con razonamiento completo o nombres de citas.
- Estabilidad: El estudio encontró que la recuperación es altamente reproducible (coincidencia del 95.5%), pero la reordenación por LLM introduce una varianza de ejecución a ejecución de aproximadamente ±0.03–0.04 en el MAP, debido principalmente a la selección inconsistente del número de documentos por parte del LLM.
- Nota sobre Métricas: Mientras que la configuración de mejor MAP (V4, consulta de asunto corta, prompt de Hechos+Asuntos) logró un MAP de 0.3124, su MRR correspondiente fue de 0.3379. Se observaron valores de MRR más altos (por ejemplo, 0.4121) en configuraciones con puntuaciones de MAP más bajas (como el Union Pool con el prompt de Hechos+Asuntos), lo que indica un compromiso entre la calidad del ranking y la cobertura en diferentes configuraciones.

Significancia y Reivindicaciones
El artículo afirma que AQgR proporciona una ruta práctica y zero-shot para la recuperación explicable de jurisprudencia en la India. Su importancia radica en demostrar que:

Los Resúmenes Estructurados son Críticos: Permiten que los LLM razonen sobre la doctrina legal en lugar de simplemente escanear texto no estructurado, haciendo que la recuperación sea viable sin ajuste fino.
La Recuperación Basada en Asuntos es Viable: Generar asuntos legales a partir de hechos permite al sistema encontrar precedentes basados en principios legales en lugar de solo similitud fáctica, alineándose con la forma en que los abogados buscan realmente.
Explicabilidad: El sistema proporciona una razón de relevancia para cada caso recuperado, permitiendo a los abogados evaluar rápidamente si es necesario leer la sentencia completa.
Utilidad Práctica: El enfoque no requiere ajuste fino y se ejecuta en hardware modesto, lo que lo hace accesible para abogados individuales y pequeñas firmas.

Los autores mantienen la modestia, reconociendo limitaciones como la varianza de ejecución a ejecución, la incapacidad de resumir las sentencias más largas y la falta de una validación humana exhaustiva para los 496 resúmenes generados. Concluyen que, si bien el sistema es un paso significativo, se necesita trabajo futuro para cerrar el techo de recuperación para casos sin superposición de vocabulario superficial y para mejorar la estabilidad de las consultas generadas por LLM.

Más como este