PRECEPT: Planning Resilience via Experience, Context Engineering & Probing Trajectories A Unified Framework for Test-Time Adaptation with Compositional Rule Learning and Pareto-Guided Prompt Evolution

El documento presenta PRECEPT, un marco unificado para la adaptación en tiempo de prueba en agentes LLM que combina recuperación exacta de reglas, memoria consciente de conflictos y evolución de prompts guiada por Pareto para superar la degradación en la recuperación de conocimientos, mejorar la composición de reglas y garantizar la robustez ante conocimientos obsoletos o adversarios.

Lo esencial

Imagina que tienes un asistente muy inteligente, pero un poco despistado, llamado "Agente IA". Este agente es genial resolviendo problemas, pero tiene tres grandes defectos:

1. Se olvida de las reglas: Si le das muchas instrucciones a la vez, se confunde y mezcla las cosas.
2. Es terco: Si aprende algo incorrecto una vez, lo repite una y otra vez, incluso si le dices que está mal.
3. No se adapta: Si el mundo cambia (por ejemplo, si una carretera se cierra), sigue intentando usar la ruta antigua hasta que se rinde.

El artículo que presentas introduce PRECEPT, una nueva forma de organizar a este agente para que deje de ser un "genio despistado" y se convierta en un "experto organizado".

Aquí te explico cómo funciona PRECEPT usando una analogía sencilla: La Bodega de un Chef Experto.

1. El Problema: El Chef que lee recetas en voz alta

Imagina que el Agente IA es un chef que tiene que cocinar platos complejos.

• El método antiguo (Reflexión Verbal): El chef tiene que leer miles de notas escritas en un cuaderno gigante para recordar cómo cocinar. Si el plato tiene 10 ingredientes, tiene que leer 10 notas. A veces, lee mal una nota, mezcla dos recetas o se olvida de una. Es como intentar recordar una dirección de memoria mientras conduces: si hay mucho tráfico (muchas condiciones), te equivocas.
• El resultado: El chef comete errores tontos, repite los mismos fallos y no puede combinar ingredientes nuevos de forma creativa.

2. La Solución: PRECEPT (El Sistema de Archivos Inteligente)

PRECEPT no cambia al chef, le da una nueva cocina con tres herramientas mágicas:

A. La Libreta de Recetas Exacta (Recuperación Determinista)

En lugar de leer un cuaderno desordenado, PRECEPT le da al chef una libreta donde cada receta tiene una etiqueta de código de barras única.

• Cómo funciona: Si el cliente pide "Pollo con Salsa Roja y Sin Gluten", el chef escanea el código de barras exacto. ¡Zas! Encuentra la receta correcta al instante. No tiene que "adivinar" ni "interpretar" si la nota se parece a otra.
• La ventaja: Si el cliente pide una combinación nueva (ej. "Pollo + Salsa Roja + Sin Gluten + Sin Nueces"), el chef puede combinar las etiquetas de "Sin Gluten" y "Sin Nueces" que ya conoce y crear el plato perfecto sin tener que aprenderlo desde cero. Es como tener bloques de Lego que encajan perfectamente.

B. El Inspector de Calidad (Resolución de Conflictos)

A veces, la libreta tiene dos notas contradictorias. Una dice "Usa sal" y otra (que llegó ayer) dice "No uses sal".

• El problema antiguo: El chef se queda paralizado o elige la nota más vieja por error.
• La solución PRECEPT: Tiene un Inspector de Calidad (llamado Evo-Memory). Este inspector tiene un sistema de "puntos de confianza".
  • Si la nota vieja (estática) dice una cosa, pero el chef prueba la comida y le sabe mal (experiencia dinámica), el inspector marca la nota vieja como "sospechosa".
  • Usa una especie de "ruleta matemática" (Bayesiana) para decidir: "¿Confío más en el libro de texto o en lo que acabo de probar?". Si la nota vieja falla dos veces seguidas, ¡la tira a la basura! Así, el chef nunca vuelve a cometer el mismo error dos veces.

C. El Entrenador Personal (COMPASS)

Imagina que el chef está aprendiendo a cocinar. A veces, el chef necesita cambiar no solo la receta, sino cómo piensa para cocinar.

• La función: COMPASS es un entrenador que observa al chef. Si ve que el chef tarda mucho en cocinar o se equivoca mucho, le dice: "Oye, intenta pensar de esta otra manera".
• La magia: El entrenador no solo le da consejos al azar. Prueba diferentes formas de pensar, ve cuál funciona mejor y guarda la mejor. Es como un videojuego donde el personaje aprende a saltar mejor cada vez que cae en un hoyo.

3. ¿Por qué es tan importante esto? (Los Resultados)

El papel muestra que este sistema es increíblemente eficiente:

• Menos errores: Mientras otros sistemas fallan el 94% de las veces cuando hay muchas condiciones, PRECEPT falla el 0%. Es como si el chef nunca confundiera la sal con el azúcar.
• Aprende rápido: Con muy pocos intentos (menos de 3), el chef ya sabe cómo hacer el plato. Otros sistemas necesitan cientos de intentos.
• Se adapta al cambio: Si mañana cierran el puerto de Shanghái y hay que enviar por Hamburgo, PRECEPT detecta el error, borra la regla vieja y aprende la nueva en el acto. Los otros sistemas seguirían intentando enviar a Shanghái hasta que se agotaran.
• Resistencia a mentiras: Si alguien pone una nota falsa en la libreta ("Usa veneno en lugar de sal"), el sistema lo detecta porque la comida sabe mal, y la nota falsa es eliminada rápidamente.

En resumen

PRECEPT es como convertir a un agente de IA de un "estudiante que memoriza de memoria" a un "ingeniero con un plano de trabajo perfecto".

• No confía en la memoria borrosa (texto natural).
• Usa reglas exactas y etiquetas claras.
• Tiene un sistema para borrar lo que está mal y aprender lo nuevo.
• Se entrena a sí mismo para ser más rápido y eficiente.

Es una forma de hacer que la Inteligencia Artificial sea confiable, predecible y capaz de trabajar en el mundo real, donde las cosas cambian y los errores cuestan dinero. En lugar de hacer que la IA sea "más inteligente" (más grande), la hacen "mejor organizada" (más estructurada).

Resumen técnico

Resumen Técnico: PRECEPT

1. El Problema

Los agentes de Modelos de Lenguaje (LLM) que almacenan conocimiento como texto natural (reflexión verbal) enfrentan limitaciones críticas al escalar en aplicaciones del mundo real:

• Degradación de la Recuperación: A medida que aumenta la cantidad de condiciones, la precisión de la recuperación de reglas basadas en texto se deteriora exponencialmente debido a errores de interpretación de coincidencias parciales (ej. 94.4% de error a N=10 condiciones).
• Explosión Composicional: Entrenar agentes para manejar todas las combinaciones posibles de condiciones ($2^N$) es inviable. Los métodos actuales no generalizan bien la composición de reglas atómicas.
• Ceguera ante la Deriva (Drift): Las reglas aprendidas se vuelven obsoletas cuando el entorno cambia, pero los agentes carecen de mecanismos explícitos para detectar y descartar conocimiento estancado o adversario.
• Ineficiencia de Muestras: Los enfoques de Aprendizaje por Refuerzo (RL) requieren un número prohibitivo de muestras ($\beta > 100$) y no permiten la adaptación sin reentrenamiento completo.

2. Metodología: El Marco PRECEPT

PRECEPT es un marco unificado de adaptación en tiempo de prueba que combina recuperación determinista, memoria de conflictos y evolución de prompts. Se basa en tres componentes acoplados:

A. Recuperación Determinista Exacta (O(1))

En lugar de depender de la interpretación semántica del LLM para recuperar reglas, PRECEPT utiliza claves de condiciones estructuradas para realizar búsquedas exactas (hash lookup).

• Jerarquía de Niveles Semánticos: Las reglas se organizan en una jerarquía (Seguridad > Cumplimiento > Preferencias). Esto permite el apilamiento composicional de restricciones atómicas.
• Generalización: Permite cubrir hasta $2^N - 1$escenarios compuestos a partir de solo$N$ reglas atómicas aprendidas, eliminando errores de interpretación en la ruta determinista.

B. Memoria de Conflictos y Adaptación a la Deriva (Evo-Memory)

Inspirado en el principio de la "Reina Roja Digital" (DRQ), PRECEPT mantiene un historial de restricciones y conflictos para adaptarse dinámicamente.

• Conflicto Tipo I (Estático vs. Dinámico): Cuando el conocimiento estático (documentación) contradice la experiencia dinámica (ejecución real), el sistema utiliza un detector de consenso de seis métodos y muestreo de Thompson (distribuciones Beta) para determinar qué fuente es más fiable y descartar la información adversaria.
• Conflicto Tipo II (Deriva Ambiental): Si una regla falla repetidamente, el sistema reduce su confianza y la invalida automáticamente tras un umbral de fallos ($\theta=2$), forzando el reaprendizaje.
• Recorte Determinista: El RefineInterceptor garantiza que las opciones que han fallado nunca se reintenten, eliminando los ciclos de fallo ($P(repeat) = 0$).

C. COMPASS (Capa de Adaptación de Prompt)

COMPASS es un bucle externo de optimización de prompts que opera a dos frecuencias:

• Alta Frecuencia: Monitoreo paso a paso de acciones y errores.
• Baja Frecuencia: Evolución de prompts basada en eventos (fallos, cambios de fase). Utiliza selección Pareto para optimizar simultáneamente la tasa de éxito y la eficiencia de pasos, manteniendo la diversidad de estrategias mediante el algoritmo MAP-Elites para evitar la convergencia prematura.

3. Contribuciones Clave

1. Aprendizaje de Reglas Composicionales con Recuperación Determinista: Introduce una recuperación exacta $O(1)$ que elimina errores de interpretación y permite la generalización exponencial ($2^N$) a partir de reglas atómicas.
2. Resolución Unificada de Conflictos y Adaptación a la Deriva: Unifica la gestión de conflictos entre conocimiento estático y dinámico (Tipo I) y la adaptación a cambios ambientales (Tipo II) mediante un mecanismo bayesiano y de invalidación por umbral, logrando una resiliencia a la deriva 64 veces superior a los métodos verbales.
3. COMPASS: Una capa de adaptación dual que evalúa prompts a través de la ejecución completa del agente (no solo puntuaciones heurísticas), asegurando que la evolución del prompt esté alineada con la lógica determinista del sistema.

4. Resultados Experimentales

Los experimentos (9-10 semillas) en dominios de logística, reservas y integración de APIs muestran ventajas significativas:

• Éxito en el Primer Intento (P1): PRECEPT supera a Full Reflexion en un +41.1 puntos porcentuales (pp) y a ExpeL en +15.3 pp en promedio. En el dominio de integración (alto sesgo de priorización del LLM), la ventaja es de +43.3 pp.
• Generalización Composicional: Logra un +33.3 pp de ventaja en generalización composicional y alcanza un 100% de éxito (P1) en composiciones logísticas de 2 vías.
• Aprendizaje Continuo: Muestra ganancias de +40 a +55 pp en escenarios de aprendizaje continuo con entrenamiento mínimo ($\beta=1$).
• Robustez ante Conocimiento Adversario: Mantiene un 100% de éxito eventual en logística incluso con conocimiento estático adversario activo, recuperándose completamente mediante su mecanismo de resolución de conflictos.
• Recuperación ante Deriva: Logra una recuperación de +55.0 pp tras un cambio de entorno, mientras que los baselines (como Reflexion) no logran recuperarse o empeoran.
• Eficiencia: Reduce el número de pasos necesarios en un 61% en comparación con los baselines, acercándose al mínimo teórico (2.0 pasos).
• Significancia Estadística: Las comparaciones principales son estadísticamente significativas (p < 0.001) con tamaños de efecto grandes (Cohen's d > 1.9).

5. Significado e Impacto

PRECEPT representa un cambio de paradigma en la arquitectura de agentes LLM:

• De la Escala a la Estructura: Demuestra que la fiabilidad no proviene solo de modelos más grandes o contextos más largos, sino de estructuras arquitectónicas que rodean los sesgos generativos del LLM.
• Garantías Formales: Proporciona garantías teóricas (ej. $P(repeat\_fail)=0$, recuperación exponencial) que los métodos puramente probabilísticos o de RL no ofrecen.
• Auditoría y Transparencia: Al almacenar reglas como datos estructurados en lugar de texto natural, permite una auditoría completa y una interpretabilidad que es crucial para dominios de alto riesgo (logística, cumplimiento sanitario, regulación financiera).
• Adaptabilidad Real: Es uno de los primeros marcos que aborda de manera unificada la adaptación a la deriva del entorno y los conflictos de conocimiento en tiempo de prueba sin reentrenamiento costoso.

En conclusión, PRECEPT establece que para desplegar agentes LLM robustos en entornos no estacionarios y complejos, es necesario combinar la capacidad de razonamiento del LLM con mecanismos deterministas de recuperación, gestión de conflictos y evolución de estrategias.