Resumen Técnico: Atribución de Ganancias en la Salida Estructurada en la Llamada a Funciones

1. Planteamiento del Problema

Las intervenciones basadas en prompts, particularmente la inyección de habilidades derivadas de trayectorias, suelen mejorar las puntuaciones de los Modelos de Lenguaje Grande (LLM) en benchmarks de llamada a funciones como el Berkeley Function Calling Leaderboard (BFCL) y API-Bank. Sin embargo, un aumento bruto en la puntuación no distingue entre dos mecanismos distintos:

1. Transferencia Procedimental: El modelo realmente aprendió un procedimiento reutilizable para seleccionar las herramientas y los argumentos correctos.
2. Alineación de Interfaz: El modelo simplemente aprendió a conformarse con el formato de salida específico (por ejemplo, claves de envoltorio JSON, sintaxis de esquema) preferido por el evaluador.

Las prácticas de evaluación actuales suelen confundir estos mecanismos. Un prompt de habilidad podría mejorar las puntuaciones simplemente al instruir al modelo para que use una clave JSON específica (por ejemplo, "name" frente a "function") que el evaluador acepta, incluso si la selección de la herramienta subyacente permanece sin cambios o se degrada. Por el contrario, las llamadas semánticamente correctas pueden ser penalizadas por desviaciones menores en el formato. El artículo argumenta que, sin atribuir las ganancias a sus causas específicas, las afirmaciones de "habilidad agéntica transferible" carecen de justificación.

2. Metodología: El Protocolo de Atribución de Cuatro Capas

Los autores proponen un riguroso protocolo de cuatro capas para auditar las ganancias de habilidades mediante el prependado de prompts. Este protocolo va más allá de la simple comparación de puntuaciones para aislar la fuente de la mejora.

Capa 1: Rescalificación Canónica

Los autores introducen la rescalificación canónica para separar el "aliasing de claves de envoltorio" de los cambios reales en la política de la tarea.

• Mecanismo: La puntuación estándar de BFCL trata ciertas claves JSON (por ejemplo, "name") como correctas y otras (por ejemplo, "function", "function_name") como errores, incluso si los argumentos son idénticos. El protocolo normaliza estas claves a una forma canónica antes de evaluar la precisión del Árbol de Sintaxis Abstracta (AST).
• Objetía: Determinar si una ganancia es simplemente el resultado de que el modelo cambie al alias de clave "correcto" en lugar de seleccionar la herramienta correcta.

Capa 2: Controles de Solo Formato

Esta capa prueba si un contrato de interfaz explícito por sí solo puede reproducir las ganancias observadas.

• Mecanza: Los autores comparan "Habilidades Completas" (que contienen tanto instrucciones procedimentales como restricciones de formato) frente a prompts de "Solo Formato" (que contienen únicamente las instrucciones de esquema JSON/envoltorio, despojadas de la lógica de la tarea).
• Objetivo: Si un prompt de solo formato iguala o supera el rendimiento de un prompt de habilidad completa, la ganancia se atribuye a la alineación de la interfaz, no al aprendizaje procedimental.

Capa 3: Inducción Reparada y Equilibrada

Esta capa investiga si las ganancias son artefactos del pipeline de extracción (por ejemplo, selección de demostraciones sesgada o estilos específicos de extractor).

• Mecanismo:
  • Extracción Reparada: Las habilidades se re-extraen utilizando una familia de modelos diferente (Qwen3-32B) y un conjunto equilibrado de demostraciones de alta y baja puntuación, en lugar de la extracción original de GPT-4o basada solo en altas puntuaciones.
  • Inducción Equilibrada: El protocolo prueba si las ganancias persisten cuando el conjunto de demostraciones está equilibrado, eliminando el sesgo hacia ejemplos conformes al formato.
• Objetivo: Determinar si la "habilidad" es robusta o si las ganancias originales fueron impulsadas por sesgos de demostración específicos y no generalizables.

Capa 4: Verificaciones de Portabilidad

Esta capa prueba la generalizabilidad de las ganancias a través de diferentes contextos.

• Mecanismo:
  • Inter-familia: Probar habilidades extraídas de una familia de modelos (por ejemplo, Qwen) en otras (por ejemplo, Llama, Gemma).
  • Inter-benchmark: Probar en API-Bank (usando sintaxis de corchetes) y benchmarks de razonamiento (MATH-500, MultiHop-RAG).
  • Controles Genéricos: Comparar las habilidades extraídas contra prompts procedimentales genéricos de longitud equivalente.
• Objetivo: Verificar si las ganancias restantes representan un procedimiento transferible o si son específicas del modelo de origen y su contrato.

3. Resultados Clave

La aplicación de este protocolo a BFCL y API-Bank a través de 8 modelos Qwen3 (0.6B–235B) y otras familias arroja varios hallazgos contraintuitivos:

• La Alineación de la Interfaz Domina: En muchos casos, los prompts de solo formato igualan o superan a los de habilidad completa. Por ejemplo, en Qwen3-8B, un prompt de solo formato produjo una ganancia de 21.3 puntos porcentuales (pp), superando la ganancia de la habilidad completa@235B de +11.3 pp. Esto sugiere que la "habilidad" consistía principalmente en enseñar al modelo cómo envolver la salida, no cómo resolver la tarea.
• La Canonicidad Revela la Sensibilidad: La puntuación estándar mostró grandes ganancias y daños. Tras la rescalificación canónica, varias celdas "perjudiciales" pasaron a ser neutrales, y las ganancias positivas disminuyeron significamente. Por ejemplo, la ganancia de la habilidad@235B del modelo 14B cayó de -11.7 pp a -1.0 pp bajo la canonicidad, indicando que el daño original se debía en gran medida a la sensibilidad del alias de la clave.
• Sensibilidad de la Inducción: Las mayores ganancias observadas (por ejemplo, +17.7 pp para 1.7B, +11.3 pp para 8B) desaparecieron o se revirtieron en gran medida al usar inducción reparada/equilibrada. Cuando la extracción se realizó desde un conjunto equilibrado de demostraciones en lugar de solo de las de alta puntuación, las ganancias desaparecieron, sugiriendo que las mejoras originales fueron impulsadas por el sesgo de la demostración en lugar de una extracción de habilidad robusta.
• Prompts Genéricos Replicaron las Ganancias: En API-Bank, los prompts procedimentales genéricos de longitud similar casi reprodujeron las ganancias de las habilidades extraídas (dentro de un margen de 0.5 pp), lo que indica aún más que la redacción específica de la "habilidad" no fue el principal motor del rendimiento.
• Fallo Inter-familia: Las habilidades extraídas de Qwen3 a menudo fallaron o degradaron el rendimiento al aplicarse a modelos Llama o Gemma, mientras que las señales de solo formato a veces funcionaron mejor. Esta falta de portabilidad socava las afirmaciones de transferencia procedimental universal.

4. Contribuciones

El artículo realiza tres contribuciones principales:

1. Formulación: Enmarca la atribución de la ganancia de habilidad en la llamada a funciones como un problema de reporte, distinguiendo entre cambios en la política de la tarea y la alineación de la interfaz en las auditorías de salida estructurada.
2. Protocolo: Propone e instancia un protocolo de atribución de cuatro capas (rescalificación canónica, controles de solo formato, extracción robusta de inducción y verificaciones de portabilidad) para evaluar rigurosamente la inyección de habilidades.
3. Hallazgos Empíricos: Demuestra que en entornos tipo BFCL/API-Bank, muchas ganancias aparentes se atribuyen mejor a la alineación de la interfaz que a una transferencia procedimental robusta. Libera BFCL-CANONICAL (un conjunto de datos/métricas) y una receta de reporte práctica para futuras afirmaciones.

5. Significado y Afirmaciones

El artículo no afirma que la conformidad con el formato no sea importante; más bien, argumenta que la conformidad con el formato es una capacidad de ingeniería distinta del razonamiento procedimental.

• Clarificación de Métricas: Los autores sostienen que una puntuación de salida estructurada por sí sola no puede certificar que un modelo haya aprendido un procedimiento transferible. Una mejora en la puntuación puede simplemente reflejar que el modelo aprendió a "hablar el lenguaje del evaluador".
• Estándares de Reporte: El artículo recomienda que las futuras afirmaciones de "habilidad transferible" deben sobrevivir al protocolo de cuatro capas. Si una ganancia desaparece bajo la canonicidad, los controles de solo formato o la inducción equilibrada, debe reportarse como alineación de interfaz o adaptación de contrato de prompt, no como una habilidad agéntica reutilizable.
• Diagnóstico Constructivo: Los hallazgos se presentan como un diagnóstico constructivo para el campo. Al separar la alineación de la interfaz de la transferencia procedimental, los investigadores pueden comprender mejor qué miden realmente sus benchmarks y evitar sobreestimar las capacidades de los métodos de inyección de habilidades.

Los autores concluyen que, si bien la alineación de la interfaz es valiosa para el despliegue, atribuir las ganancias a la transferencia procedimental sin pasar estos rigurosos controles es un error de atribución. El protocolo preserva el valor de ingeniería de la alineación de formato, reservando la afirmación más fuerte de transferencia procedimental solo para la evidencia residual que sobreviva a todos los controles.