Resumen Técnico: NTILC (Invocación de Herramientas Neural mediante Compresión Aprendida)

1. Planteamiento del Problema

Los sistemas agénticos que dependen de Modelos de Lenguaje de Gran Escala (LLMs) dependen cada vez más de registros extensos de APIs, funciones y acciones locales invocables. El enfoque estándar, la Herramienta en Contexto (ICT - In-Context Tooling), inserta el texto completo de cada definición de herramienta disponible en el prompt del modelo antes de procesar una consulta de usuario. Aunque es efectivo para registros pequeños, este método incurre en un costo de tokens que escala linealmente ($O(N)$) con el número de herramientas.

A medida que los registros crecen (por ejemplo, a más de 5,000 herramientas), la ICT enfrenta tres limitaciones críticas:

1. Agotamiento del Contexto: Los esquemas de las herramientas (con un promedio de ~120 tokens) consumen rápidamente la ventana de contexto, dejando poco espacio para la información específica de la tarea.
2. Latencia y Costo: El procesamiento de ventanas de contexto masivas aumenta el tiempo de pre-llenado (prefill) y los costos de inferencia.
3. Degradación de la Precisión de Selección: La presencia de numerosas herramientas irrelevantes ("distractores") y el desenfoque semántico (semantic blur) —donde las herramientas comparten descripciones de lenguaje natural casi idénticas pero poseen firmas de ejecución incompatibles (por ejemplo, diferentes tipos de argumentos)— conduce a mayores tasas de error en la selección de herramientas.

2. Metodología: NTILC

Los autores proponen NTILC (Neural Tool Invocation via Learned Compression), un marco que reemplaza el escaneo de registro en contexto de escalado lineal con un paso de recuperación latente externo y aprendido.

2.1 Pipeline de Inferencia

En lugar de inyectar el registro completo en el prompt, NTILC opera de la siguiente manera:

1. Generación de Intención: Un LLM base ($M$) recibe la consulta del usuario ($\chi$) y genera un bloque de plan ($P$) que contiene intenciones de herramientas en lenguaje natural.
2. Codificación: Un codificador dedicado ($E$) mapea estas intenciones en un espacio de incrustación (embedding) entrenado.
3. Recuperación Latente: Se realiza una búsqueda de vecino más cercano (NNS) contra un índice de herramientas pre-construido y offline ($V$) para recuperar un identificador de clúster de herramienta relevante ($\hat{t}$).
4. Generación Restringida: El esquema de la herramienta recuperada se pasa al LLM. Utilizando la librería Outlines, una Máquina de Estados Finitos (FSM) restringe el vocabulario de salida del modelo, asegurando que los argumentos generados sean sintácticamente válidos y se ajusten estrictamente a la firma de la herramienta seleccionada.
5. Ejecución: El despachador ejecuta la herramienta y devuelve el resultado al LLM para la síntesis de la respuesta final.

Este enfoque reduce el costo de tokens del registro en el prompt de $O(N)$ a $O(1)$, ya que el registro se externaliza como un índice de incrustaciones en lugar de texto en la ventana de contexto.

2.2 Objetivo de Entrenamiento

Un desafío central es resolver el desenfoque semántico, donde herramientas semánticamente similares son funcionalmente incompatibles. NTILC aborda esto mediante un objetivo de entrenamiento compuesto para el codificador ($E$):

1. Circle Loss: Utilizada para la alineación general entre consulta y herramienta, ponderando las similitudes por pares para concentrar las señales de gradiente cerca de la frontera de decisión de recuperación.
2. Functional Margin (FM) Loss: Un término de pérdida novedoso diseñado para separar herramientas con descripciones similares pero firmas incompatibles.
   • Calcula una puntuación de compatibilidad (compat) basada en la intersección de nombres de argumentos, tipos y esquemas de retorno.
   • Asigna un peso de repulsión ($w_{ij}$) a los pares negativos basados en su incompatibilidad funcional.
   • Aplica una penalización de margen específicamente a los "negativos difíciles" (hard negatives), es decir, herramientas semánticamente cercanas pero funcionalmente distintas, separándolas en el espacio de incrustación.

El objetivo total es $L_{dispatch} = \lambda_1 L_{circle} + \lambda_2 L_{FM}$.

3. Contribuciones Clave

1. Innovación de Marco: Introducción de NTILC, que desacopla la capacidad del agente de la longitud del prompt al externalizar el registro de herramientas en un índice de incrustaciones aprendido, reduciendo los tokens del registro en el prompt de $O(N)$ a efectivamente cero.
2. Functional Margin Loss: Propuesta de una función de pérdida consciente de la firma que impone explícitamente la separación entre herramientas semánticamente similares pero funcionalmente distintas, abordando directamente el problema del "desenfoque semántico".
3. Evaluación Exhaustiva: Evaluación a través de cinco conjuntos de datos públicos (ToolBench, BFCL, API-Bank, MetaTool, ToolEyes) demostrando el rendimiento a través de diversos tamaños de registro.

4. Resultados Experimentales

Los autores evaluaron NTILC frente a líneas base de ICT (incluyendo Qwen3-27B, Ministral 3, Kimi Moonlight, y modelos de código cerrado como ChatGPT 5 y Claude Sonnet 4.6) en conjuntos de datos públicos.

• Reducción de Contexto: NTILC reduce el consumo de la ventana de contexto en más del 95%. Para un registro de 5,000 herramientas, la ICT requiere ~600,000 tokens de entrada, mientras que NTILC requiere solo la intención y el esquema seleccionado (<5,000 tokens).
• Latencia: NTILC reduce la latencia de inferencia hasta en un 74% en comparación con las líneas base de ICT de contexto largo (por ejemplo, en ToolBench, la latencia cayó de 5,663ms a 1,452ms).
• Precisión: NTILC mantiene la paridad con los modelos ICT de vanguardia en precisión Top-1 y Top-5.
  • En ToolBench, NTILC alcanzó una precisión Top-1 del 98% con cero tokens de registro en el prompt.
  • En subconjuntos de desenfoque semántico, la inclusión de la Functional Margin Loss mejoró la precisión de desenfoque semántico del 70.8% (solo Circle Loss) al 75.0%, reduciendo la tasa de error funcional al 8.7%.

5. Significado y Reivindicaciones

El artículo afirma que NTILC demuestra que los registros de herramientas no necesitan residir en la ventana de contexto. Al mover el registro a un índice de incrustaciones compacto, el marco:

• Desacopla la capacidad de la longitud del contexto: El rendimiento del agente ya no se degrada a medida que el registro de herramientas escala.
• Resuelve el problema del "Desenfoque Semántico": A través de la Functional Margin Loss, el modelo aprende a distinguir entre herramientas que son textualmente similares pero funcionalmente distintas, un modo de fallo común en la recuperación semántica estándar.
• Permite la Escalabilidad: El enfoque permite el despliegue de agentes con registros de herramientas masivos sin incurrir en costos de tokens prohibitivos o penalizaciones de latencia.

Los autores señalan limitaciones, específicamente que NTILC requiere un indexado offline y puede tener dificultades con documentación de herramientas altamente dinámica o dependiente del estado sin un re-indexado frecuente. También enfatizan que, si bien NTILC mejora la eficiencia de selección, la seguridad y la aplicación de políticas (por ejemplo, listas de permitidos) siguen siendo preocupaciones separadas que deben combinarse con el mecanismo de despacho.