Compression, structure, and executor capability: a controlled real-cost decomposition of language-model agent skill optimisation

Resumen Técnico: Compresión, Estructura y Capacidad del Ejecutor en la Optimización de Habilidades de Agentes de Modelos de Lenguaje

Planteamiento del Problema
La fiabilidad de los agentes de modelos de lenguaje (LM) depende cada vez más del entorno de ejecución y de los artefactos de instrucción reutilizables conocidos como "habilidades" (skills). Una suposición prevalente en el campo es que la optimización de estas habilidades —mediante el acortamiento, la reescritura estructural, la compilación con modelos más fuertes o la carga delimitada (scoped loading)— reduce los costes operativos preservando al mismo tiempo el éxito en las tareas. Sin embargo, esta suposición rara vez se pone a prueba con mediciones simultáneas de calidad y coste monetario real donde los factores contribuyentes estén aislados. La literatura actual suele confundir los efectos de extremo a extremo, utiliza el volumen de tokens como un sustituto del coste (ignorando las diferencias de precio entre niveles de modelos) o se basa en la longitud del prompt como un indicador débil de calidad. Este estudio aborda la brecha tratando la representación de la habilidad como un problema controlado de medición de la calidad del software, con el objetivo de determinar si las estrategias de representación mejoran genuinamente la eficiencia o si el factor dominante reside en otra parte.

Metodología
El estudio emplea una descomposición controlada sobre un benchmark de agentes de ingeniería de software que consta de 40 tareas con verificadores ejecutables. El diseño experimental aisla diez condiciones distintas a través de 1.200 ejecuciones (tres repeticiones por celda).

• Condiciones: El diseño separa una referencia sin habilidad, una línea base de habilidad curada bruta, un acortamiento extractivo determinista, representaciones lineales y estructuradas derivadas de un libro contable semántico compartido, y carga delimitada. Estas se cruzan con dos niveles de modelo: un ejecutor "compacto" (gpt-5.4-mini) y un ejecutor "fuerte" (gpt-5.5), así como un nivel de "compilador" para la transformación de habilidades fuera de línea.
• Controles: Para garantizar la paridad, las representaciones lineales y estructuradas se generan de forma determinista a partir del mismo libro contable semántico, asegurando que las diferencias surjan solo de la presentación y no del contenido. Un control centinela verifica que la condición sin habilidad carezca realmente del artefacto de la habilidad.
• Métricas:
  • Calidad: Medida mediante la tasa de éxito del verificador (éxito binario) agregada a nivel de tarea. Se utiliza un margen de no inferioridad de −5 puntos porcentuales para determinar si una estrategia preserva la calidad.
  • Coste: Reportado principalmente en términos monetarios reales (USD) basados en los precios estándar bajo demanda del proveedor para la etapa de resolución. Las vistas normalizadas por volumen de tokens y los costes de compilación fuera de línea se mantienen para fines de robustez y análisis de amortización.
• Estadística: La tarea es la unidad de inferencia. Los intervalos están agrupados por tareas (10.000 remuestreos) y la familia de contraste de calidad fija se corrige para la multiplicidad utilizando el procedimiento de Holm.

Contribuciones Clave

1. Descomposición de Factores Separados: El estudio aísla la compresión, la representación estructurada frente a la lineal, el nivel del compilador, el nivel del ejecutor y la carga delimitada, desentrañando los factores que las comparaciones de extremo a extremo suelen confundir.
2. Contabilidad de Coste Real con Filtro de Calidad: Distingue el coste monetario del recuento de tokens y del gasto de compilación única, corrigiendo la visión de que un modelo más fuerte parece más barato simplemente porque utiliza menos tokens.
3. Evidencia Empírica sobre Estrategias de Representación: Las mediciones proporcionan una evaluación definitiva de si las representaciones optimizadas mejoran sobre las habilidades brutas bajo condiciones controladas.

Resultos

• La Capacidad del Ejecutor es Dominante: El único contraste que sobrevive a la corrección de multiplicidad es el nivel del ejecutor. Cambiar de un ejecutor compacto a uno fuerte aumenta la tasa de éxito en 26,7 puntos porcentuales (de ~29% a ~56% en condiciones estructuradas) pero aumenta el coste real aproximadamente cinco veces. El nivel del compilador no muestra un efecto robusto en el rendimiento.
• Ineficacia de las Optimizaciones de Representación:
  • Acortamiento Determinista: Se mantiene descriptivamente cerca de la línea base bruta (+1,7 pp) pero no logra establecer la no inferioridad dentro del margen preestablecido. No reduce el coste real.
  • Representación Estructurada: En el ejecutor compacto, la representación estructurada reduce la tasa de éxito en 13,3 puntos porcentuales en comparación con la línea base bruta y es indistinguible del texto lineal cuando el contenido coincide. No reduce el coste.
  • Carga Delimitada (Scoped Loading): Reduce la tasa de éxito en 8,3 puntos porcentuales en el ejecutor compacto y no reduce el coste.
• Punto de Equilibrio de Coste: Bajo precios reales, ninguna representación optimizada alcanza un punto de equilibrio de coste práctico. Aunque los recuentos de tokens disminuyen con el acortamiento o la reestructuración, estas reducciones ocurren en el nivel compacto de bajo precio y no compensan los costes de la etapa de resolución. El ejecutor fuerte, a pesar de usar menos tokens, es significativamente más caro por token, lo que lo convierte en la forma más costosa de aumentar la calidad. Los recuentos de reutilización para el punto de equilibrio en condiciones optimizadas son a menudo en los cientos o infinitos, excediendo los entornos operativos probables.

Significancia y Reivindicaciones
El artículo sostiene que la suposición común —que las habilidades más pequeñas o mejor organizadas reducen el coste mientras preservan el éxito— no está respaldada por la evidencia cuando se consideran los costes reales y los factores aislados. El estudio concluye que la capacidad del ejecutor es la palanca dominante para el rendimiento del agente, mientras que ninguna de las estrategias de representación probadas (acortamiento, estructuración, carga delimitada) mejora sobre la habilidad bruta en ninguno de los dos niveles del ejecutor.

Los autores argumentan que, para los agentes de ingeniería de software, el factor decisivo es la elección del ejecutor recurrente por uso, en lugar de las inversiones fuera de línea en la compilación de mejores habilidades. Por consiguiente, las optimizaciones de las habilidades del agente deben valorarse en moneda en el nivel del ejecutor antes de ser tratadas como ahorros. Los hallazgos sugieren que la reestructuración o la limitación del material puede eliminar pistas de las que dependen los modelos más débiles sin añadir capacidades que estos puedan explotar, y que las reducciones en el volumen de tokens no se traducen en ahorros monetarios reales cuando se tiene en cuenta el nivel de precio del modelo.