Contradiction-Aware Strategy Synthesis in Agent Skills via Loop Engineering: A Controlled Empirical Comparison with Conventional Search

Resumen Técnico: Síntesis de Estrategia Consciente de Contradicciones en Habilidades de Agentes mediante Ingeniería de Bucles

Planteamiento del Problema
El artículo aborda dos modos de falla críticos en la asesoría actual para estudios en el extranjero y becas: (1) Sobrecarga de Información, donde las búsquedas web convencionales devuelven listas de enlaces no estructurados y de confiabilidad desigual que no logran sintetizar un perfil específico de un solicitante; y (2) Premisas Inválidas, donde los solicitantes persiguen metas estructuralmente imposibles (por ejemplo, un título de medicina totalmente financiado y en inglés en Austria) sin que el motor de búsqueda señale la contradicción. Los motores de búsqueda convencionales están optimizados para la relevancia de la fuente, no para la calidad de la decisión, y carecen de mecanismos para validar la viabilidad de una meta frente a las restricciones específicas de cada país. Aunque las "habilidades de agente" (flujos de trabajo encapsulados) pretenden resolver esto, han estado ausentes las comparaciones empíricas rigurosas y controladas por entrada contra los baselines convencionales.

Metodología
El estudio emplea un protocolo estricto de pruebas A/B controladas a través de diez experimentos (nueve perfiles de solicitantes reales en nueve países/dominios y una prueba de robustez de perfil disperso).

• Entradas Controladas: Tanto el brazo de la "Habilidad" como el del "Búsqueda Web Normal" reciben la misma instrucción de lenguaje natural describiendo al solicitante y su meta. El brazo de la Habilidad además ingiere un perfil JSON estructurado que codifica los mismos hechos. Este diseño aísla el valor del bucle de síntesis de cualquier ventaja en el acceso a la información.
• Marco de Ingeniería de Bucles: La Habilidad ejecuta un proceso de refinamiento iterativo de cinco etapas:
  • L1 (Recuperación y Estructuración): Recopila datos del solicitante y del país.
  • L2 (Detección de Contradicciones y Restricciones): Contrasta la meta declarada contra la realidad para detectar imposibilidades o condiciones.
  • L3 (Cuantificación y Benchmarking): Asigna costos, tasas de aceptación, brechas de financiamiento neto y puntuaciones.
  • L4 (Síntesis de Estrategia y Accionabilidad): Clasifica opciones y construye una línea de tiempo.
  • L5 (Verificación): Reconciliación programática de números y comprobaciones de consistencia.
• Métricas: El estudio mide la cobertura de dimensiones de salida a través de siete clases críticas para la decisión: combinaciones de financiamiento clasificadas, brechas netas cuantificadas, comparaciones de instituciones, premios nombrados, tablas, líneas de tiempo y veredictos de validez de la meta. Un estudio de ablación cuantifica la contribución marginal de cada bucle.

Contribuciones Clave

1. Protocolo de Comparación Controlada: El primer estudio de múltiples dominios y con entrada controlada que compara una habilidad de agente estructurada contra una búsqueda web convencional, eliminando el sesgo de "mejor entrada".
2. Cuerpo Empírico: Un conjunto de datos de 20 artefactos (10 reportes de la Habilidad vs. 10 búsquedas de la Línea Base) que abarcan diversos regímenes de financiamiento (libre de matrícula, de alta matrícula, de estipendio por defecto).
3. Ablación a Nivel de Bucle: Formalización del proceso de asesoría en bucles, demostrando que los Bucles L2–L4 desbloquean aproximadamente el 69% de los artefactos de grado de decisión, probando que la profundidad de la iteración, y no el mero acceso a los datos, es lo que impulsa el valor.
4. Verificación Programática: Una pasada L5 que verifica mecánicamente todos los reportes generados, confirmando afirmaciones estructurales (número de páginas, presencia de tablas, inclusión de veredictos) en lugar de simplemente afirmarlas.

Resultados
Los resultados demuestran una superioridad categórica de la Habilidad sobre la línea base:

• Cobertura Crítica para la Decisión: La Habilidad logra una cobertura del 100% en las siete dimensiones medidas en los diez experimentos. La línea base logra un ~10% de cobertura (limitado a nombres de premios dispersos) y un 0% en todas las dimensiones dependientes de la síntesis (combinaciones clasificadas, brechas cuantificadas, líneas de tiempo, veredictos).
• Detección de Contradicciones (La Prueba Decisiva): La Habilidad clasifica correctamente la validez de la meta (Imposible, Condicional, Selectiva o Consistente) en el 100% de los casos. La línea base logra un 0%, fallando al no señalar metas estructuralmente imposibles (por ejemplo, Experimento A: medicina en inglés en Austria) y, en su lugar, devolviendo enlaces genéricos que sostienen la premisa falsa.
• Generación de Artefactos: La Habilidad produce un PDF de 16 páginas rico en tablas con 10 combinaciones de financiamiento clasificadas, una línea de tiempo de 12 meses y un "Veredicto Honesto". La línea base devuelve una lista no estructurada de ~10 enlaces sin síntesis.
• Robustez: En el experimento de perfil disperso (Experimento C), la Habilidad se degrada elegantemente a un esqueleto estructurado con marcadores de posición y un veredicto de "suministrar datos", mientras que la línea base devuelve los mismos enlaces genéricos que para entradas ricas.

Significancia y Reivindicaciones
El artículo sostiene que para metas de estudios en el extranjero de alto riesgo y propensas a contradicciones, la habilidad de agente estructurada domina estrictamente a la búsqueda convencional.

• Creación de Valor: El valor primario no está en recuperar información (ambos brazos tienen acceso a ella) sino en el trabajo de síntesis internalizado por la Habilidad (Bucles L2–L4). Esto transforma los datos brutos en un plan accionable, eliminando la carga del ensamblaje del solicitante.
• Implicación Ética: La capacidad de la Habilidad para detectar y declarar explícitamente metas "imposibles" previene el daño financiero y temporal causado por la salida "confidentemente incompleta" de la línea base.
• Brecha Categórica: La "ventaja relativa del 100%" no es una figura retórica, sino una observación directa de la incapacidad de la línea base para producir artefactos de grado de decisión (planes, brechas, veredictos) en comparación con la producción consistente de la Habilidad.
• Dirección Futura: Los autores proponen que las futuras herramientas de becas adopten la puntuación de cobertura de siete dimensiones como un estándar métrico y extiendan el marco de ingeniería de bucles a otros dominios de alto riesgo como la inmigración y el triaje médico.

El artículo concluye que la Habilidad debería ser el primer paso por defecto para los solicitantes, con la búsqueda convencional sirviendo únicamente como una fuente de entrada L1, ya que la Habilidad proporciona un "plan corregido" frente al "ciclo perdido" de la línea base.