Parthenon Law: A Self-Evolving Legal-Agent Framework

Este artículo aborda los desafíos de fiabilidad del despliegue de agentes de LLM en el dominio jurídico mediante la presentación de un estudio empírico a gran escala sobre Harvey LAB y la introducción de \textsc{Parthenon}, un marco de autoevolución que modulariza roles y herramientas legales para permitir mejoras auditables y basadas en la experiencia sin modificar los pesos del modelo.

Lo esencial

Imagina que contratas a un estudiante de derecho brillante y superrápido para ayudarte con un caso legal masivo. Este estudiante ha leído todos los libros de derecho de la biblioteca y puede escribir una oración perfecta en segundos. Sin embargo, cuando le pides que gestione un caso completo de principio a fin, suele pasar por alto detalles pequeños pero críticos: olvida un plazo, cuenta mal una cantidad de dinero o no logra citar la página específica donde se encuentra una ley.

Este artículo, "Parthenon Law", sostiene que el problema no es que el "estudiante" (el modelo de IA) no sea lo suficientemente inteligente. El problema es que el sistema de trabajo a su alrededor está roto.

Aquí está el desgón de su solución, utilizando analogías sencillas:

1. El Problema: El "Pasante Brillante pero Distraído"

Los autores probaron los modelos de IA más inteligentes disponibles en 12,510 tareas legales del mundo real (como revisar contratos o analizar plazos judiciales).

• El Resultado: Incluso las IA más inteligentes podían resolver correctamente entre el 80% y el 90% de las preguntas individuales. Pero en el mundo legal, acertar el 90% no es suficiente. Si se te pasa un solo plazo o una sola cita, el documento entero queda inutilizado.
• La Analogía: Imagina a un chef que puede picar vegetales perfectamente y sazonar un filete perfectamente. Pero si olvida encender el horno, la comida se arruina. El "horno" (el proceso) faltaba, no las habilidades del chef.

2. La Solución: El Marco de Trabajo "Parthenon"

Los autores construyeron un nuevo sistema llamado Parthenon. En lugar de simplemente pedirle a la IA que "haga el trabajo", construyeron un "taller" rígido de seis capas alrededor de la IA. Es como construir un suelo de fábrica de alta tecnología alrededor de un robot.

El marco tiene tres partes principales:

• La "Lista de Verificación" (Habilidades y Herramientas):
  Antes de que la IA escriba una sola palabra, se le obliga a utilizar herramientas específicas. No puede simplemente "adivinar" una fecha; debe ejecutar una herramienta de "Calculadora de Fechas". No puede simplemente "encontrar una ley"; debe usar una "Herramienta de Búsqueda" que la obligue a mostrar su procedimiento.

  • Analogía: Es como darle al pasante una lista de verificación que dice: "1. Revisa el calendario. 2. Cuenta el dinero. 3. Encuentra la fuente. 4. Verifica los números". No puede saltarse ningún paso.

• El "Monstruo de Tres Cabezas" (Solucionador, Evaluador, Aprendiz):
  El sistema divide el trabajo en tres roles distintos que no interactúan entre sí de una manera que provoque trampas:

  1. El Solucionador (Solver): Realiza la redacción propiamente dicha.
  2. El Evaluador (Evaluator): Un "juez" separado que califica el borrador frente a las reglas después de que este se ha terminado.
  3. El Aprendiz (Learner): Un mecánico que observa las notas del "juez" y corrige la lista de verificación o las herramientas para la próxima vez.
  • Analogía: El Solucionador escribe el ensayo. El Evaluador lo califica. El Aprendiz no cambia el ensayo; en su lugar, reescribe las instrucciones para el próximo estudiante para que no cometa el mismo error.

• La Regla "Anti-Trampa" (Anti-Leakage):
  Esto es crucial. El sistema aprende de sus errores, pero tiene estrictamente prohibido memorizar las respuestas a las preguntas específicas de la prueba.

  • Analogía: Si el pasante falla un examen de matemáticas, el sistema le enseña cómo hacer mejor la división larga. No le enseña que "la respuesta de la Pregunta 5 es 42". Esto asegura que el sistema se vuelva más inteligente de forma general, en lugar de simplemente memorizar el examen.

3. Los Resultados: "Mejor Proceso, No Solo Cerebros Más Inteligentes"

Los autores ejecutaron los mismos modelos de IA con y sin este nuevo taller "Parthenon".

• Sin Parthenon: La IA era como un coche rápido sin frenos. Iba rápido pero chocaba a menudo.
• Con Parthenon: La IA se convirtió en un camión de reparto confiable. Siguió la ruta, revisó la carga y llegó con seguridad.

El Número Mágico: Añadir este marco mejoró el rendimiento de la IA aproximadamente tanto como actualizar a un modelo de IA mucho más caro y "más inteligente". De hecho, un modelo de IA más barato con el sistema Parthenon funcionó mejor que un modelo de primer nivel sin él.

4. La Conclusión: El "Copiloto"

El artículo concluye que este sistema no es un reemplazo para los abogados humanos.

• La Realidad: Incluso con el sistema Parthenon, la IA todavía comete errores en aproximadamente el 10% de los detalles minúsculos.
• El Rol: La IA es ahora un "super-redactor". Realiza el 90% del trabajo pesado, revisa su propio trabajo y señala el 10% restante para que un abogado humano lo revise.
• El Beneficio: En lugar de que un humano pase 12 horas redactando un documento desde cero, puede pasar 10 minutos revisando un borrador que ya es un 90% perfecto y fundamentado en la evidencia real.

En resumen: Parthenon no hace que la IA sea "más inteligente" de una manera mágica; simplemente la obliga a dejar de adivinar y empezar a seguir un conjunto de reglas estrictas, auditables y de autoaprendizaje. Convierte una sesión de lluvia de ideas caótica en un flujo de trabajo legal disciplinado.

Resumen técnico

Resumen Técnico: Ley de Partenón: Un Marco de Agentes Legales Autoevolutivo

1. Declaración del Problema

El despliegue de agentes de Modelos de Lenguaje Extensos (LLM) en la práctica jurídica enfrenta tres obstáculos críticos a pesar del potencial para transformar asuntos densos en documentos en productos de trabajo revisables:

1. Falta de Evidencia Empírica: No existen datos a gran escala sobre cómo las combinaciones actuales de modelos y entornos de ejecución (harnesses) se desempeñan en asuntos legales de extremo a extremo.
2. Desajuste Arquitectónico: Las arquitecturas de agentes existentes son entornos de propósito general que no han sido adaptados a los invariantes específicos del vertical legal (por ejemplo, plazos estrictos, trazabilidad de fuentes y cumplimiento de entregables).
3. Sistemas Estáticos: En un dominio donde los hechos, las autoridades y los plazos cambian, no existe un mecanismo para que los sistemas aprendan de sus propios resultados sin realizar un ajuste fino (fine-tuning) de los pesos del modelo o arriesgarse a la filtración de datos.

Las evaluaciones actuales muestran que, si bien los modelos más fuertes mejoran la precisión por criterio, no logran alcanzar la "finalización estricta del asunto" (aprobar todos los criterios para un solo asunto). Los modos de falla comunes incluyen cobertura incompleta de fuentes, pérdida de detalles cuantitativos, entregables mal formados y una fundamentación débil. Se identifica que el cuello de botella no es la capacidad del modelo por sí sola, sino la ausencia de un sistema de trabajo legal estructurado que rodee al modelo.

2. Metodología: El Marco PARTHENON

Los autores introducen PARTHENON, un marco de agentes legales de seis capas y autoevolutivo diseñado para envolver los entornos de ejecución de los espacios de trabajo con controles específicos para el ámbito legal. La arquitectura se organiza en torno a la atribución y la auditabilidad:

2.1 Capas Arquitectónicas

• Capa de Modelo (Model Layer): Un proveedor de capacidad intercambiable (ej. GPT, Claude, Gemini) que permite el enrutamiento de asuntos por área de práctica sin vincular el sistema a un único modelo.
• Capa de Entorno (Harness Layer): El contrato de ejecución observable (ej. Codex, Claude Code, OpenCode) que proporciona espacio de trabajo, acceso a herramientas y captura de trazas. PARTHENON trata esto como algo intercambiable, envolviéndolo con especialización legal.
• Capa de Agente (Agent Layer): Define límites de rol estrictos para evitar la filtración de información:
  • Solucionador (Solver): Redacta el producto de trabajo utilizando tareas, fuentes, habilidades y herramientas.
  • Evaluador (Evaluator): Califica el trabajo terminado contra una rúbrica fuera del contexto del solucionador para evitar la memorización.
  • Aprendiz (Learner): Propone ediciones ajenas a la tarea para el entorno basándose en trazas redactadas y señales agregadas.
• Capa de Conocimiento (Knowledge Layer): Almacena la memoria legal duradera (estatutos, plazos, esquemas, calendarios, sinónimos) como datos, no como texto de prompt. Estos son objetos de propósito general, que excluyen explícitamente los hechos específicos del asunto o las respuestas de referencia para evitar la filtración.
• Capa de Herramientas (Tools Layer): Convierte los requisitos legales recurrentes en operaciones deterministas e interpretables (ej. aritmética de fechas, verificaciones de citas, reconciliación de números). Estas reemplazan la memoria implícita del modelo con código ejecutable.
• Capa de Habilidades (Skills Layer): Contiene planes procedimentales ciegos a la rúbrica (ej. triaje, ciclo de vida de problemas, invocación obligatoria de herramientas) seleccionados por clase de asunto. Esta capa convierte los fallos empíricos en procedimientos reutilizables.

2.2 El Bucle de Autoevolución

PARTHENON implementa un bucle de optimización con control que actualiza el entorno en lugar de los pesos del modelo:

1. Ejecución: El Solucionador produce un borrador.
2. Evaluación: El Evaluador califica el borrador contra una rúbrica oculta, generando retroalimentación.
3. Aprendizaje: El Aprendiz recibe trayectorias de fallos redactadas (eliminando IDs de tareas, frases de la rúbrica y datos de clientes) y propone ediciones a las capas de Conocimiento, Herramientas o Habilidades.
4. Control (Gating): Las ediciones solo se admiten si son generalizables, pasan controles de seguridad estáticos y mejoran estrictamente la tasa de aprobación por tarea. Este protocolo de "anti-filtración" asegura que el sistema aprenda mejoras procedimentales en lugar de memorizar señales de referencia.

3. Configuración Experimental

• Benchmark: Harvey LAB, un corpus de 1,251 asuntos a través de 24 áreas de práctica, que incluye documentos fuente, entregables y rúbricas de expertos.
• Líneas Base (Baselines): Evaluado a través de cuatro familias de ejecución: Prompting directo de API, un entorno nativo legal básico, y los entornos de trabajo Codex y Claude Code.
• Modelos: Probado a través de tres niveles de modelos (GPT-5.4-mini, GPT-5.5 y Claude Sonnet 4.6/Haiku 4.5).
• Métricas:
  • Precisión de Criterio (Criterion Accuracy): La proporción de todos los criterios de la rúbrica aprobados.
  • Paso Total (All-Pass): La proporción estricta de asuntos donde se aprueba cada criterio.

4. Resultados Clave

4.1 Incremento de Rendimiento

Con el modelo y el entorno del agente fijos, añadir PARTHENON genera ganancias de rendimiento comparables a la actualización del modelo base:

• Ganancias de Precisión: PARTHENON aumentó la precisión de criterios agrupada en +13.8, +10.2 y +7.4 puntos porcentuales a través de los tres niveles de modelos, alcanzando el 82.0%, 89.9% y 90.2% respectivamente.
• Finalización Estricta: En los solucionadores más débiles, la finalización de paso total estricta aproximadamente se triplicó (ej. de 14 a 42 asuntos para GPT-5.4-mini).
• Reducción de Errores: El marco redujo significancialmente los errores mecánicos (falta de hechos, números/fechas, forma del entregable) que anteriormente dominaban los fallos de la línea base.

4.2 Mecanismo de Mejora

• Mezcla de Acciones: La mejora es impulsada por un nuevo grupo de acciones de "herramienta/script" (ej. auditorías obligatorias, llenado de esquemas) en lugar de un aumento en la generación de texto. Los agentes de la línea base eran intensivos en lectura; los agentes de PARTHENON realizan inspecciones y validaciones estructuradas.
• Eficiencia de Costos: Para el solucionador más caro (GPT-5.5), PARTHENON de hecho redujo el costo por asunto ($1.51 →$1.29) mientras aumentaba la precisión, ya que el bucle de auditoría produjo salidas más cortas y precisas. Para los solucionadores más económicos, el aumento de costo fue mínimo en relación con la ganancia de precisión.
• Estudios de Ablación:
  • Optimización: El bucle de auto-mejora converge a un entorno transferible, con diferentes solucionadores convergiendo a niveles de precisión similares.
  • Esfuerzo de Razonamiento: Aumentar el presupuesto bruto de inferencia (esfuerzo de razonamiento) arrojó resultados poco fiables, mientras que los controles procedimentales proporcionaron ganancias dependientes.
  • Resúmenes de Documentos: Añadir resúmenes de documentos en caché no mejoró el rendimiento en entradas largas; el cuello de botella era la disciplina procedimental, no la longitud de la entrada.

4.3 Comparación Humana

Contra un "estándar de lanzamiento" que aproxima la revisión de un abogado humano (100% de precisión):

• Precisión: Incluso la configuración más fuerte de PARTHENON (90.2% de precisión de criterio) aprueba cada criterio en solo ~12% de los asuntos, lo que indica que es un asistente de redacción, no un abogado autónomo.
• Tiempo y Costo: El sistema ofrece una enorme ganancia de eficiencia. El tiempo estimado por asunto cae de ~12.6 horas (humano) a ~10 minutos (IA), y el costo cae de ~$4,399 a ~$0.81.

5. Significado y Reivindicaciones

El artículo sostiene que la barrera principal para una IA legal fiable es procedimental, no paramétrica. Los modelos más fuertes fallan en el trabajo legal porque carecen de un sistema estructurado para hacer cumplir los invariantes profesionales (plazos, citas, fundamentación).

Contribuciones Clave:

1. Análisis Empírico: Un estudio a gran escala de 12,510 trayectorias de agentes en Harvey LAB, que revela que la finalización estricta de asuntos sigue siendo baja incluso para los modelos de frontera.
2. Marco PARTHENON: Una arquitectura de seis capas que separa la capacidad del modelo de la memoria legal, las herramientas y las habilidades procedimentales, haciendo que los fallos sean auditables y editables.
3. Bucle de Autoevolución: Un mecanismo para convertir los fallos puntuados en actualizaciones de entorno ajenas a la tarea sin realizar un ajuste fino de los modelos ni filtrar los datos de referencia.

Conclusión:
Los autores concluyen que PARTHENON transforma el rol de la IA legal de "redactar desde cero" a "revisar un primer borrador fundamentado en fuentes y con alertas de auditoría". Al envolver a los solucionadores en un entorno legal auditable, el sistema logra ganancias comparables a las actualizaciones de modelos y se transfiere entre diferentes familias de modelos. La importancia radica en demostrar que la fiabilidad en dominios de alto riesgo puede lograrse mediante controles procedimentales externos e inspectables, en lugar de depender únicamente del aumento de la escala del modelo.