JUDICATA: An Agentic Neuro-Symbolic Architecture for Legal Reasoning with Adversarial Defense and Procedurally Contestable Argumentation

Imagina un mundo donde las computadoras pueden leer y escribir como los humanos, pero tienen un hábito muy difícil: a veces inventan cosas con total confianza. Este es el mundo de los Modelos de Lenguaje Extensos (LLM), los cerebros de IA superinteligentes detrás de muchos de los chatbots que usamos hoy en día. Aunque estos modelos son increíbles para escribir historias o responder preguntas generales, tienen dificultades en lugares donde equivocarse es peligroso, como un tribunal. En el derecho, no puedes simplemente adivinar; necesitas conectar hechos específicos con reglas específicas para llegar a una conclusión. Si una IA inventa una ley falsa o un caso judicial falso, podría arruinar la vida de alguien. Este artículo aborda exactamente ese problema: ¿cómo construimos un abogado de IA que no solo "alucine" (invente cosas), sino que realmente siga las estrictas reglas lógicas de la ley, siendo también lo suficientemente resistente para evitar que los hackers la engañen?

Los investigadores detrás de este estudio, llamados JUDICATA, decidieron dejar de intentar que la IA sea más inteligente por sí sola y, en su lugar, construyeron una "red de seguridad" a su alrededor. Piensa en una IA estándar como un estudiante talentoso pero impulsivo al que le encanta adivinar. JUDICATA es como poner a ese estudiante en un tribunal estricto con un equipo de guardianes. Primero, hay un Equipo de Recuperación que actúa como un bibliotecario superrápido, buscando las leyes exactas y los casos pasados necesarios para la respuesta, en lugar de dejar que la IA adivine de memoria. Segundo, hay un Equipo de Seguridad que actúa como un portero en un club, revisando cada pregunta para asegurarse de que nadie intente introducir un truco o una mentira. Finalmente, hay un Equipo de Lógica que obliga a la IA a escribir su respuesta en un formato específico, como un argumento legal con una afirmación, evidencia y una refutación claras, para que los humanos puedan verificar el trabajo.

El artículo muestra que cuando combinas estos equipos, la IA deja de inventar leyes falsas. En las pruebas, el sistema logró bloquear aproximadamente el 94.4% de los intentos maliciosos de engañarla, y redujo significativamente el número de hechos falsos que la IA intentaba presentar como verdad. Los investigadores descubrieron que la parte más importante de todo este sistema fue el "Equipo de Lógica" utilizando un método llamado Modelo de Toulmin. Cuando eliminaron esta parte, el rendimiento del sistema colapsó y la IA comenzó a inventar hechos nuevamente. Esto demuestra que el secreto no es solo tener un cerebro más grande y más inteligente, sino tener un proceso estricto y paso a paso que mantenga a la IA honesta.

La historia de JUDICATA: Un abogado de IA con una red de seguridad

Imagina que eres un abogado preparándote para un gran juicio. Necesitas encontrar la ley perfecta para apoyar tu caso, pero no puedes permitirte cometer un error. Si citas una ley que no existe, pierdes el caso. Ahora, imagina que tienes un asistente robot para ayudarte. El problema es que este robot es un poco soñador. Es tan bueno sonando seguro de sí mismo que a menudo inventa leyes y casos judiciales falsos solo para llenar los huecos. Esto se llama "alucinación", y en el mundo legal, es un desastre.

Los autores de este artículo, JUDICATA, se hicieron una pregunta simple: ¿Cómo detenemos al robot para que deje de soñar despierto y siga las reglas? No intentaron reentrenar el cerebro del robot para que fuera perfecto. En su lugar, construyeron una arquitectura neuro-simbólica. Esa es una forma elegante de decir que combinaron la "intuición" (neuronal) del robot con un "libro de reglas" (simbólico) estricto. Construyeron un sistema que actúa como una fortaleza de tres capas, diseñada para atrapar errores antes de que lleguen al juez.

Los tres guardianes del sistema

El sistema JUDICATA está organizado en tres partes principales, trabajando juntas como una máquina bien aceitada.

1. El Superbibliotecario (HyPA-RAG)
Primero, el sistema necesita encontrar la información correcta. Los sistemas de IA estándar a menudo solo buscan palabras que se parecen, lo que puede conducir a errores. JUDICATA utiliza una búsqueda "Tri-Modal", lo que significa que busca respuestas de tres maneras diferentes al mismo tiempo:

• La coincidencia de palabras: Busca términos legales exactos (como "habeas corpus") para asegurarse de obtener el vocabulario correcto.
• La coincidencia de significado: Entiende la idea detrás de la pregunta, incluso si las palabras son diferentes.
• La coincidencia de estructura: Observa cómo se conectan las leyes en una jerarquía (como cómo un artículo específico encaja dentro de un párrafo).

El sistema mezcla estos tres resultados de búsqueda. Si la pregunta es simple, confía más en la coincidencia de palabras. Si la pregunta es compleja, se apoya en la estructura y el significado. Esto asegura que la IA siempre tenga una ley real en la mano, no una falsa que haya inventado.

2. El Portero (Defensa Adversaria)
Antes de que la IA siquiera pueda leer las leyes, tiene que pasar un control de seguridad. Los hackers y tramposos a menudo intentan el "jailbreak" (evasión de seguridad) de la IA haciendo preguntas extrañas o escondiendo malas instrucciones dentro de textos con apariencia legal. JUDICA tiene un sistema de Defensa de Doble Paso que actúa como un portero estricto.

• Paso 1 (El control de sintaxis): Escanea la pregunta en busca de patrones sospechosos, como inyecciones de código o frases trampa conocidas.
• Paso 2 (El control de significado): Utiliza un cerebro inteligente para ver si la pregunta parece un truco, incluso si las palabras parecen normales.

En sus pruebas, este sistema detuvo el 94.4% de los ataques (755 de 800) sin bloquear ninguna pregunta legítima. Es como un portero que sabe exactamente a quién dejar entrar y a quién rechazar, incluso si los malos llevan un disfraz.

3. El Secretario del Juez (LSIM y Toulmin)
Una vez que la IA tiene las leyes correctas y ha pasado la seguridad, tiene que escribir la respuesta. Aquí es donde ocurre la magia. En lugar de dejar que la IA escriba un ensayo de forma libre, JUDICATA la obliga a usar una estructura específica llamada Modelo de Toulmin. Este modelo desglosa un argumento en seis partes:

• Afirmación (Claim): Lo que estás diciendo.
• Datos (Data): Los hechos que tienes.
• Garantía (Warrant): Por qué los hechos apoyan la afirmación.
• Respaldo (Backing): Apoyo adicional para la garantía.
• Refutación (Rebuttal): Qué podría salir mal o qué podría decir la otra parte.
• Calificador (Qualifier): Qué tan seguro estás (por ejemplo, "probablemente" o "definitivamente").

Al obligar a la IA a completar estos recuadros, el sistema evita que invente cosas. Si la IA intenta inventar un hecho, este no encajará en el recuadro de "Datos" y el sistema lo detectará. Esto hace que el razonamiento de la IA sea procesalmente contestable, lo que significa que un abogado humano puede mirar la respuesta y decir: "Bien, aquí está tu afirmación, aquí está tu evidencia y aquí está tu refutación. Puedo verificar esto".

Lo que mostraron los experimentos

Los investigadores probaron este sistema con tres cerebros de IA diferentes: uno pequeño que se ejecuta en una computadora local (Mistral 7B), uno enorme en la nube (Kimi K2) y uno comercial (Gemini 2.5 Flash). Querían ver si el sistema funcionaba sin importar qué cerebro utilizaran.

Los resultados fueron claros: la estructura importa más que el tamaño del cerebro.

• Reducción de hechos falsos: Sin el sistema JUDICATA, la IA era propensa a inventar hechos. Con el sistema, el riesgo de alucinación disminuyó significamente. Para el modelo local Mistral, el riesgo de alucinación bajó a 0.898 (en una escala donde 0 es perfecto y 1 es caos total), y para el modelo en la nube Kimi, bajó a 0.467.
• El "Impuesto de Seguridad": El sistema hizo que la IA fuera ligeramente más cautelosa. En algunas pruebas, la IA citó menos leyes porque se negó a citar aquellas de las que no estaba 100% segura. Los autores llaman a esto un "impuesto de seguridad": es mejor citar menos leyes correctamente que citar muchas leyes incorrectamente.
• El componente crítico: El hallazgo más importante provino de un "estudio de ablación", donde apagaron las partes del sistema una por una. Cuando apagaron el Modelo de Toulmin (el argumento estructurado), el rendimiento del sistema colapsó. La "Puntuación Compuesta" (una medida de qué tan buena era la respuesta) cayó aproximadamente un 27%, y el riesgo de alucinación se disparó a más de 0.94. Esto demostró que la estructura de argumento estricta es la parte más importante para mantener a la IA honesta.

Por qué esto es importante

El artículo sostiene que no necesitamos esperar a que la IA sea perfecta por sí sola. En su lugar, podemos construir sistemas que obliguen a la IA a ser honesta. Al combinar un motor de búsqueda inteligente, un guardia de seguridad duro y un formato de argumento estricto, JUDICATA crea una IA en la que se puede confiar en un tribunal.

El sistema también respeta la privacidad. Debido a que puede ejecutarse completamente en una computadora local (sin enviar datos a la nube), cumple con leyes estrictas de privacidad como la LGPD de Brasil y la Ley de IA de la UE. Esto significa que un abogado puede usar la IA para ayudar en un caso sensible sin preocuparse de que los secretos de su cliente se envíen a una gran empresa tecnológica.

Al final, JUDICATA demuestra que el futuro de la IA legal no se trata de tener un robot más grande y más inteligente. Se trata de construir un mejor equipo alrededor del robot, asegurándose de que revise su trabajo, siga las reglas y nunca, jamás, invente cosas. Como sugieren los autores, este enfoque convierte a una IA caótica y soñadora en un asistente legal confiable, contestable y seguro.