An LLM Agentic Approach for Legal-Critical Software: A Case Study for Tax Prep Software

Este trabajo presenta un enfoque basado en agentes de IA que utiliza relaciones metamórficas de alto orden para generar pruebas automatizadas y sintetizar código ejecutable a partir de leyes fiscales, demostrando que modelos más pequeños pueden superar a los modelos de vanguardia en la creación de software legalmente crítico y fiable.

Lo esencial

Imagina que el código de impuestos de Estados Unidos es un libro de reglas de un juego extremadamente complejo, escrito en un lenguaje tan técnico y lleno de matices que incluso los abogados más expertos a veces se confunden. Ahora, imagina que quieres crear un "videojuego" (un software) que pueda calcular automáticamente cuánto debe pagar cada jugador (cada contribuyente) basándose en esas reglas.

El problema es que si el juego tiene un error, la gente podría perder dinero o el gobierno podría cobrar de más. Tradicionalmente, los programadores humanos intentan traducir esas reglas del "idioma legal" al "idioma de las computadoras", pero es un trabajo propenso a errores, como intentar traducir un poema sin perder su significado.

Aquí es donde entra este paper, que presenta una solución llamada Synedrion.

¿Qué es Synedrion? (El Equipo de Expertos)

En lugar de confiar en un solo "genio" de la Inteligencia Artificial (un modelo de lenguaje grande como GPT-4) para hacer todo el trabajo, los autores crearon un equipo de agentes de IA que trabajan juntos, como si fueran un equipo de desarrollo de software en una oficina real.

Piensa en Synedrion como un taller de reparación de coches de lujo, pero en lugar de mecánicos, tienen expertos de IA con roles muy específicos:

1. El Traductor Legal (TaxExpertAgent): Este agente es como un abogado senior. Su trabajo es leer el código de impuestos (el libro de reglas) y traducirlo a un lenguaje estructurado y claro (JSON) que la computadora pueda entender perfectamente. No escribe código todavía; solo asegura que las reglas estén claras.
2. Los Programadores (Coder Agents): Son los mecánicos del taller. Toman las reglas claras del abogado y escriben el código real del software. Hay dos de ellos que se revisan el trabajo mutuamente para asegurarse de que no haya errores tontos.
3. El Jefe de Calidad (SeniorCoderAgent): Es el supervisor que revisa el trabajo de los mecánicos. Si algo no parece correcto, lo devuelve para que lo corrijan.
4. El Detective de Errores (MetamorphicAgent): ¡Este es el héroe de la historia! Imagina que tienes un coche nuevo. ¿Cómo sabes si funciona bien si no tienes un manual de respuestas correctas? (En impuestos, a veces es difícil saber exactamente cuánto debe pagar alguien sin hacer el cálculo completo).
   • Este detective no busca la respuesta "correcta" absoluta. En su lugar, busca inconsistencias lógicas.
   • La Analogía de la "Regla de la Justicia": Si dos personas son idénticas, pero una es ciega y la otra no, la ley dice que la persona ciega debe pagar menos impuestos. Si el software hace pagar lo mismo a ambas, el detective grita: "¡Alto! ¡Hay un error!".
   • Pero este detective es aún más inteligente. No solo compara dos personas, sino que compara grupos de personas para ver si las reglas de "cambio" son correctas. Por ejemplo: "Si aumento mis ingresos un poco, mis impuestos suben un poco. Si aumento mis ingresos mucho, mis impuestos deberían subir más (porque hay tramos progresivos)". Si el software hace que los impuestos suban igual sin importar cuánto ganes, el detective lo atrapa.

La Gran Sorpresa: El Pequeño es más fuerte que el Gigante

Lo más fascinante del estudio es lo que descubrieron sobre el tamaño de la Inteligencia Artificial.

• El Gigante (Modelos grandes como GPT-4 o Claude): Son como estudiantes universitarios brillantes. Cuando les das un problema simple, lo resuelven perfecto. Pero cuando el problema se vuelve muy complejo (como el cálculo de jubilaciones o deducciones raras), se abrumaban, se confundían y cometían errores graves.
• El Pequeño (Modelos más pequeños como GPT-4o-mini): Son como aprendices de mecánico muy enfocados. Por sí solos, fallaban mucho.
• La Magia del Equipo: Cuando pusieron al "aprendiz pequeño" dentro del equipo Synedrion (con el abogado, el supervisor y el detective), ¡el pequeño empezó a funcionar mejor que el estudiante universitario trabajando solo!

¿Por qué? Porque el equipo divide el trabajo. El abogado pequeño entiende las reglas, el detective pequeño encuentra los errores lógicos, y el supervisor corrige el camino. El equipo compensa las debilidades individuales.

El Problema del "Oráculo" (¿Cómo sabemos si es correcto?)

En el mundo de los impuestos, a veces no hay una "respuesta correcta" obvia para probar si el software funciona (esto se llama el "problema del oráculo"). Es como intentar adivinar si un coche de carreras es rápido sin tener un cronómetro.

El paper propone usar Pruebas Metamórficas.

• Analogía: Imagina que no sabes cuánto debe costar un pastel. Pero sabes que si pones más huevos, el pastel debe ser más grande. Si pones más huevos y el pastel se hace más pequeño, sabes que algo está mal, aunque no sepas el precio exacto.
• El sistema de Synedrion genera miles de estos "escenarios de huevos" (comparaciones entre contribuyentes similares) para asegurar que el software se comporte de manera lógica y justa, incluso sin conocer la respuesta final exacta.

Conclusión: ¿Por qué importa esto?

Este trabajo nos enseña que para crear software crítico (donde un error puede costar dinero o libertad), no necesitamos necesariamente la IA más grande y cara del mundo. Necesitamos un buen equipo.

Al combinar la capacidad de entender el lenguaje legal, la habilidad de programar y la disciplina de buscar errores lógicos (como un detective), podemos crear software de impuestos (y de leyes en general) que sea más seguro, más barato y más confiable.

Es como decir: "No necesitas un solo genio que lo sepa todo; necesitas un equipo bien organizado donde cada uno hace su parte y se vigila mutuamente". Y lo mejor de todo, ese equipo puede estar formado por "aprendices" (modelos pequeños) que, trabajando juntos, superan a los "genios" solitarios.

Resumen técnico

Resumen Técnico: Un Enfoque Agente de LLM para Software Crítico Legal

1. El Problema

El desarrollo de software crítico para el ámbito legal (como el software de preparación de impuestos en EE. UU.) enfrenta desafíos únicos que dificultan la automatización mediante Inteligencia Artificial:

• Ambiguidad del Lenguaje Natural: Las leyes fiscales están escritas en lenguaje natural complejo, lleno de matices, excepciones y dependencias cruzadas, lo que es difícil de traducir directamente a lógica ejecutable.
• El Problema del Oráculo: En dominios legales, a menudo es imposible determinar la "salida correcta" absoluta para un caso de prueba específico sin una interpretación experta de la ley. Esto impide el uso de pruebas de caja negra tradicionales.
• Alucinaciones y Errores Sistemáticos: Los Modelos de Lenguaje Grandes (LLM) tienden a cometer errores de lógica, como aplicar tasas de impuestos incorrectas o malinterpretar criterios de elegibilidad, lo cual es inaceptable en sistemas donde la precisión es obligatoria.
• Limitaciones de las Pruebas Metamórficas Tradicionales: Las pruebas metamórficas existentes (que comparan pares de entradas similares) a menudo fallan en detectar errores sistemáticos, como una implementación incorrecta de la progresividad de los impuestos (ej. una tasa plana que cumple con la relación de orden pero viola la estructura de tramos).

2. Metodología: Synedrion

Los autores proponen Synedrion, un marco de trabajo multi-agente basado en LLM diseñado para simular un equipo de desarrollo de software real especializado en documentos legales. El sistema traduce el código fiscal natural a software ejecutable mediante un flujo de trabajo colaborativo.

Componentes del Sistema Multi-Agente:

1. TaxExpertAgent (Agente Experto en Impuestos):
   • Interpreta el texto legal y lo convierte en una representación estructurada en JSON.
   • Genera especificaciones de funciones detalladas (entradas, salidas, casos límite) que sirven como planos para la codificación.
   • Asegura que la estructura de datos cumpla con esquemas predefinidos antes de pasar a la codificación.
2. CoderAgent y SeniorCoderAgent (Agentes de Codificación):
   • El CoderAgent genera el código Python inicial basado en las especificaciones JSON.
   • El SeniorCoderAgent revisa el código, proporciona retroalimentación y coordina un segundo CoderAgent para generar versiones revisadas si es necesario.
   • Utilizan un enfoque de "refinamiento iterativo" para corregir errores lógicos.
3. MetamorphicAgent (Agente de Pruebas Metamórficas):
   • Es la innovación central del trabajo. En lugar de verificar salidas absolutas, este agente genera relaciones metamórficas de orden superior.
   • Analiza las tasas de cambio en los cálculos fiscales a través de múltiples variaciones de entrada relacionadas, no solo comparaciones binarias.
   • Identifica violaciones de propiedades legales (ej. progresividad, umbrales de deducción) y genera contraejemplos concretos para que el SeniorCoderAgent repare el código.

Tipos de Pruebas Metamórficas de Orden Superior:
El sistema evalúa tres categorías clave para detectar errores sistemáticos:

• Aumento Proporcional: Verifica que los cambios en la entrada generen cambios proporcionales en la salida según la ley.
• Salto de Umbral (Threshold Jump): Detecta cambios discretos en la tasa marginal cuando la entrada cruza un límite de tramo fiscal (ej. pasar del 12% al 22%).
• Saturación: Valida que la salida permanezca invariante cuando la entrada supera ciertos límites (ej. tope de créditos fiscales).

3. Contribuciones Clave

• Generalización de Pruebas Metamórficas: Introducen el concepto de relaciones metamórficas de orden superior (n-arias) para el dominio legal, superando las limitaciones de las pruebas de pares tradicionales y detectando errores estructurales que de otro modo pasarían desapercibidos.
• Paradigma Agente para Software Crítico: Demuestran que un enfoque de agentes especializados (experto legal + codificadores + probador) es superior a la generación de código directa por un solo LLM.
• Desempeño de Modelos Pequeños vs. Fronterizos: El estudio revela que, bajo este marco agente, modelos más pequeños y eficientes (como GPT-4o-mini) pueden igualar o superar a modelos de vanguardia (como GPT-4o y Claude-3.5) en tareas complejas de generación de código fiscal.
• Framework Synedrion: Una implementación funcional que automatiza la inferencia de especificaciones, la generación de código y la validación basada en contraejemplos legales.

4. Resultados Experimentales

Los autores evaluaron el sistema en seis escenarios de complejidad creciente derivados del código fiscal federal de EE. UU. (desde tramos básicos hasta distribuciones 1099-R).

• Línea Base (LLM Solo): Los modelos individuales, incluso los más potentes como Claude-3.5, mostraron un rendimiento decreciente a medida que aumentaba la complejidad. En el escenario más difícil (Benchmark 6), los modelos de vanguardia tuvieron tasas de éxito (Pass@1) de apenas 23-42% con Zero-Shot o Chain-of-Thought.
• Impacto del Enfoque Agente:
  • El uso de Synedrion mejoró drásticamente el rendimiento.
  • GPT-4o-mini (modelo pequeño) con el marco agente logró una tasa de éxito Worst@10 (peor caso en 10 intentos) del 45% en el escenario más complejo, superando significativamente a los modelos grandes en modo base (que rondaban el 9-15%).
  • Claude-3.5 con el marco agente alcanzó un Worst@10 del 78% en el escenario más complejo.
• Contribución de las Pruebas Metamórficas:
  • La integración de pruebas metamórficas básicas (4-arias) mejoró la robustez.
  • Las pruebas metamórficas de orden superior (HMT) fueron decisivas: mejoraron la tasa de éxito en el peor caso (Worst@10) de GPT-4o-mini en un 14% adicional en el escenario complejo, permitiendo que el sistema generara código completamente correcto incluso en casos de alta complejidad.
• Costo Computacional: Se observó un aumento significativo en el uso de tokens (hasta 450k tokens en escenarios complejos con HMT), lo que indica un compromiso entre precisión y costo computacional.

5. Significado e Impacto

Este trabajo es fundamental para el futuro del desarrollo de software en dominios regulados:

• Viabilidad de Modelos Pequeños: Sugiere que no es necesario depender exclusivamente de modelos masivos y costosos si se implementan arquitecturas de agentes robustas con mecanismos de verificación especializados.
• Solución al Problema del Oráculo: Ofrece una vía práctica para validar software legal sin necesidad de conocer la respuesta exacta, basándose en la consistencia lógica y las propiedades legales relativas.
• Aplicabilidad General: Aunque el estudio se centra en impuestos, la metodología es aplicable a otros sistemas críticos legales, como la gestión de la pobreza, cumplimiento normativo financiero o sistemas de salud, donde la traducción de leyes a código debe ser precisa y verificable.
• Confianza y Transparencia: Proporciona un marco para generar software que no solo es funcional, sino también verificable y alineado con la intención legislativa, reduciendo el riesgo de errores costosos en servicios públicos críticos.

En conclusión, el artículo demuestra que la combinación de arquitecturas multi-agente y pruebas metamórficas de orden superior es una vía prometedora para automatizar el desarrollo de software legal-critico, logrando niveles de fiabilidad que los enfoques de generación de código directa no pueden alcanzar.