Resumen Técnico: FAPO (Optimización de Prompts Completamente Autónoma)

Planteamiento del Problema

Los procesos (pipelines) de modelos de lenguaje extenso (LLM) de múltiples pasos, que integran etapas de recuperación, razonamiento y formateo, fallan frecuentemente debido a las complejas interacciones entre estos componentes. Los métodos tradicionales de optimización de prompts suelen fallar al abordar estos problemas porque tratan el proceso como una caja negra o se centran únicamente en el ajuste de prompts de un solo turno. En consecuencia, los cuellos de botella derivados de fallos estructurales, brechas de recuperación o errores de formato se propagan a través de la cadena, limitando el rendimiento general. Herramientas existentes como DSPy optimizan prompts dentro de estructuras de programas fijas, pero carecen de la capacidad de inspeccionar fallos a nivel de paso intermedio y de alterar dinámicamente la arquitectura del proceso dentro de un código estandarizado.

Metodología: El Marco FAPO

FAPO (Optimización de Prompts Completamente Autónoma) es un marco diseñado para optimizar procesos de LLM tratándolos como flujos de trabajo inspeccionables. Utiliza Claude Code como un orquestador autónomo para impulsar un proceso de optimización de bucle cerrado dentro de un espacio de trabajo de código estandarizado y aislado.

Arquitectura Central

El sistema opera alrededor de un modelo de "inquilino" (tenant), donde cada tarea (por ejemplo, QA, clasificación de seguridad) tiene su propio espacio de trabajo aislado que contiene instrucciones, prompts, reglas de puntuación y alcances de cambio permitidos. El bucle de optimización consta de las siguientes etapas:

1. Evaluación: El sistema ejecuta la variante actual del proceso sobre casos de entrenamiento, registrando las salidas finales, las puntuaciones y, crucialmente, los artefactos de pasos intermedios (registros, resultados de recuperación, trazas de razonamiento).
2. Atribución de Fallos: Un subagente analiza la evidencia registrada para diagnostar la causa raíz de los fallos. Clasifica los errores como:
   • Dirigibles por prompt: Problemas como respuestas verbosas, abstención o instrucciones débiles.
   • Estructurales: Problemas como cobertura de recuperación insuficiente, pasos de proceso faltantes o restricciones de formato que los prompts no pueden solucionar.
3. Propuesta de Alcance: Basándose en la atribcción, el optimizador propone un cambio único y delimitado.
   • Política de Prioridad de Prompt: El sistema prioriza las ediciones de prompts.
   • Escalada: Solo escala hacia el cambio de parámetros de la cadena o la estructura del proceso (por ejemplo, añadir nodos, modificar la profundidad de recuperación) cuando el informe de atribución identifica un cuello de botella estructural que las ediciones de prompts difícilmente resolverían, y cuando el contrato de alcance del inquilino permite tales cambios.
4. Revisión y Validación: Un agente revisor separado verifica que las propuestas cumplan con el alcance, no presenten fuga de datos y sean compatibles con el evaluador (scorer). Si se aprueba, la variante se evalúa contra puntuaciones de validación agregadas.
5. Iteración: El proceso se repite, conservando las mejoras e iterando hasta que el rendimiento se estanca o se agota el presupuesto.

Salvaguardas

Para prevenir el sobreajuste y garantizar la seguridad, FAPO emplea:

• Controles de Acceso Divididos: El optimizador ve casos de entrenamiento individuales, pero solo puntuaciones agregadas para los conjuntos de validación/prueba.
• Restricciones de Alcance: Los manuales de los inquilinos definen estrictamente los cambios permitidos y prohibidos.
• Inmutabilidad de la Variante: Cada intento se registra como un archivo distinto para mantener un historial completo.

Contribuciones Clave

El artículo presenta tres contribuciones primarias:

1. Una Técnica de Optimización de Procesos basada en Claude Code: A diferencia de los métodos anteriores que optimizan prompts de forma aislada, FAPO integra la edición de prompts con cambios estructurales en el proceso, escalando a estos últimos solo cuando la evidencia respalda su necesidad.
2. Un Procedimiento de Espacio de Trabajo Reproducible: El marco registra las salidas finales, los pasos intermedios, las configuraciones y los historiales de variantes, asegurando total visibilidad y reproducibilidad de los intentos de optimización.
3. Validación Empírica: Experimentos extensos demuestran las ventajas de rendimiento de la técnica en diversos dominios, incluyendo QA, verificación de hechos, seguimiento de instrucciones, matemáticas y clasificación de seguridad.

Resultados Experimentales

FAPO fue evaluado frente a GEPA (un optimizador de prompts de vanguardia) a través de seis benchmarks y tres modelos de tarea (GPT-4.1-mini, GPT-5.4-mini y Gemma 3-12B).

• Rendimiento General: FAPO superó a GEPA en 15 de 18 comparaciones de modelo-benchmark. La ganancia media de FAPO sobre GEPA fue de +14.1 puntos porcentuales (pp).
• Significancia Estadística: En 11 comparaciones, las victorias de FAPO fueron estadísticamente significativas (rangos de media ± desviación estándar no solapados).
• Impacto de los Cambios Estructurales: Las mejoras más drásticas ocurrieron en HoVer e IFBench, donde la búsqueda de solo prompts era insuficiente. FAPO escaló a cambios estructurales (por ejemplo, extender las cadenas de recuperación de 3 a 4–5 saltos, añadir nodos de post-procesamiento deterministas). En estas seis comparaciones, FAPO ganó las seis con una ganancia media de +33.8 pp.
• Rendimiento de Solo Prompt: Incluso en comparaciones restringidas a ediciones de prompts, FAPO ganó en 9 de 12 casos, atribuido al razonamiento profundo e iterativo del orquestador de Claude Code.
• Tareas de Seguridad: En la tarea CTIBench-RCM (clasificación de CVE-a-CWE), donde el alcance se restringió a ediciones de solo prompt, FAPO mejoró la precisión de prueba en +4.0 pp en GPT-5, +7.1 pp en Foundation-Sec-8B-Instruct y +2.0 pp en Foundation-Sec-8B-Reasoning.
• Excepciones: FAPO no superó a GEPA en el benchmark AIME en todos los modelos. Los autores atribuyen esto al tamaño pequeño de la muestra en relación con el espacio del problema y al posible sobreajuste, tratando el resultado como inconcluso en lugar de un fallo del método.

Significado y Reivindicaciones

El artículo posiciona a FAPO como una técnica de vanguardia para optimizar sistemas de LLM de múltiples pasos. Su importancia radica en el cambio del paradigma de optimización de "encontrar un único prompt exitoso" (común en el jailbreaking adversarial) a "mejorar el rendimiento medio de un proceso desplegable".

Al combinar la atribución a nivel de paso con una política de escalada de prioridad de prompt, FAP much de aborda los modos de fallo específicos de procesos complejos que la optimización de prompts de un solo turno no detecta. Los autores afirman que este enfoque basado en la evidencia y consciente del proceso proporciona un camino práctico hacia sistemas de LLM más fiables tanto para tareas de propósito general como para tareas enfocadas en la seguridad, superando las limitaciones de la optimización de prompts de estructura fija.