Signal or Noise? A Benchmark Study of Agent Skills in Web Development

En el panorama moderno de la creación de software, la inteligencia artificial ha evolucionado de ser una simple herramienta que responde preguntas a convertirse en un compañero persistente que escribe código. Para hacer que estos asistentes digitales sean más fiables, los desarrolladores han comenzado a dotarlos de "habilidades" (skills). Piense en una habilidad no como una instrucción de un solo uso, sino como un libro de reglas permanente o un conjunto de hábitos que la IA lleva consigo durante toda una sesión de trabajo. Estos libros de reglas contienen directrices sobre cómo escribir código para tecnologías específicas, advertencias sobre errores comunes que se deben evitar y ejemplos de cómo resolver problemas. La esperanza es que, al dotar a la IA de este contexto adicional, esta actúe más como un ingeniero humano experimentado y menos como un novato que adivina en cada paso. Sin embargo, hay un coste oculto en este enfoque. Cada vez que se añade una habilidad, la cantidad de texto que la IA debe leer antes de responder a una pregunta aumenta. Esto plantea una pregunta crítica y sin respuesta: ¿el conocimiento adicional realmente ayuda a la IA a hacer mejor su trabajo, o el mero volumen de texto simplemente la confunde, ralentizándola y provocando más errores?

Un equipo de investigadores de Baidu se propuso responder a esta pregunta tratando la adición de habilidades como un experimento científico en lugar de una configuración predeterminada. Se centraron en el desarrollo web, un campo masivo donde con frecuencia se pide a la IA que construya sitios web y aplicaciones utilizando lenguajes como JavaScript y HTML. Reunieron treinta y un manuales de habilidades públicos diferentes, que iban desde consejos generales de programación hasta instrucciones específicas para marcos de trabajo (frameworks) de software populares. Para probarlos, utilizaron un campo de pruebas riguroso que consistía en cincuenta proyectos web reales, cada uno con veinte tareas secuenciales que se construyen unas sobre otras. Esto creó un total de mil desafíos distintos para que la IA los resolviera. Los investigadores ejecutaron entonces las mismas tareas bajo cuatro condiciones diferentes. En el primer escenario, la IA no recibió ningún manual de habilidades adicional. En el segundo, recibió el manual de habilidades específico destinado a ese proyecto. En el tercero, para aislar el efecto de la longitud del texto, la IA recibió un manual del mismo tamaño pero lleno de contenido irrelevante y sin sentido. Finalmente, desglosaron los manuales útiles para ver qué partes específicas —como reglas, advertencias o ejemplos de código— estaban realizando realmente el trabajo. Probaron estas configuraciones en cuatro modelos de lenguaje de gran tamaño diferentes, que iban desde sistemas comerciales ampliamente utilizados hasta modelos especializados en codificación.

Los resultados desafiaron la suposición común de que más contexto siempre conduce a un mejor rendimiento. En los cuatro modelos probados, añadir el manual de habilidades previsto redujo de hecho la tasa de éxito de la IA. En promedio, la IA completó menos tareas correctamente cuando la habilidad estaba presente en comparación con cuando estaba ausente. La caída en el rendimiento no fue trivial; osciló entre un pequeño descenso y una pérdida significativa de casi cuatro puntos porcentuales en las tasas de éxito. Además, la IA se volvió menos eficiente, utilizando significativamente más recursos informáticos para completar el mismo trabajo. En algunos casos, el coste de procesar el texto adicional aumentó casi un cuatrocientos por ciento. Los investigadores descubrieron que la IA solo mejoraba su rendimiento en una pequeña minoría de los casos, aproximadamente de una en cinco a una en tres combinaciones de una habilidad específica y un proyecto específico. Esto sugiere que, en la gran mayoría de las situaciones, la inyección de estas habilidades era contraproducente, introduciendo ruido en lugar de señal.

El estudio también reveló que la razón de este fallo depende enteramente de qué modelo de IA se esté utilizando. Para dos de los modelos, el problema era simplemente la longitud del texto. Cuando estos modelos recibieron un manual de la misma longitud pero con contenido irrelevante, funcionaron igual de mal que con el manual de habilidades real. Esto indica que su atención se estaba diluyendo por el mero volumen de palabras, independientemente de lo que dijeran esas palabras. Para los otros dos modelos, la longitud del texto no era el problema; manejaron el texto irrelevante sin problemas. En su lugar, el contenido específico del manual de habilidades los confundió activamente, alejándolos de la solución correcta. Esta distincción es crucial porque significa que no existe una solución única para el problema. Para algunos sistemas, la solución es acortar el texto; para otros, el contenido mismo debe ser reescrito o eliminado por completo.

Quizás el hallazgo más sorprendente fue que una habilidad que funciona bien para un modelo de IA a menudo falla o incluso perjudica a un modelo diferente. Los investigadores no encontraron casi ninguna conexión entre cómo funcionaba una habilidad en un sistema frente a otro. Un manual que ayudaba a un modelo a resolver un problema podía hacer que un modelo diferente fallara en la misma tarea. Esta falta de consistencia significa que los desarrolladores no pueden simplemente mirar un manual de habilidades popular y asumir que funcionará para su configuración específica. En cambio, la decisión de usar una habilidad debe tomarse caso por caso, considerando el modelo específico, el proyecto específico y la tarea específica en cuestión. El estudio también mostró que estas habilidades eran más perjudiciales en las tareas más fáciles. Cuando la IA ya sabía cómo resolver un problema, las reglas adicionales parecían encasillarla en una forma de pensar rígida, impidiéndole corregir pequeños errores que de otro modo habría solucionado fácilmente.

Finalmente, los investigadores diseccionaron las habilidades útiles para ver qué las hacía funcionar cuando lo hacían. Descubrieron que las partes más valiosas eran a menudo las breves advertencias sobre lo que no se debe hacer, conocidas como anti-patrones. Estas reglas cortas fueron efectivas en todos los casos. En contraste, las secciones que contenían bloques largos de código de ejemplo fueron un arma de doble filo. Aunque a veces ayudaban a los modelos más débiles, tendían a confundir a los más avanzados, lo que sugiere que mostrar demasiados ejemplos a una IA puede ser perjudicial. El estudio concluye que la era de adjuntar ciegamente guías de habilidades a los agentes de IA ha terminado. En su lugar, la inyección de estas herramientas debe tratarse como una decisión de enrutamiento cuidadosa, donde el beneficio potencial se sopesa frente al coste del texto adicional para cada despliegue. Los hallazgos sugieren que, sin esta auditoría cuidadosa por proyecto, las mismas herramientas destinadas a hacer la IA más inteligente suelen estar haciéndola más lenta y menos fiable.