Resumen Técnico: Escalamiento del Enrutamiento de Agentes Empresariales

Declaración del Problema

A medida que los asistentes de Modelos de Lenguaje Extensos (LLM) evolucionan hacia capas de orquestación, enrutan cada vez más las solicitudes de los usuarios hacia bibliotecas crecientes de herramientas y agentes especializados. Si bien plataformas como OpenAI y Anthropic han introducido mecanismos (por ejemplo, búsqueda basada en namespaces, recuperación BM25) para gestionar este crecimiento, los mecanismos específicos de la degradación del rendimiento a medida que los catálogos escalan permanecen insuficientemente caracterizados.

Este documento aborda la pregunta crítica: ¿Cómo se degrada la precisión del enrutamiento de un solo paso a medida que el catálogo de agentes escala desde un tamaño manejable hasta una biblioteca de escala empresarial? Los autores se centran en un entorno de producción caracterizado por un "solapamiento semántico denso", donde herramientas funcionalmente similares (por ejemplo, múltiples clientes de correo electrónico, asistentes de escritura o rastreadores de proyectos) crean una ambigüedad de enrutamiento significativa, un escenario menos común en los benchmarks centrados en APIs.

Metodología

Configuración Experimental

El estudio utiliza un catálogo de productividad empresarial desplegado en el mundo real que comprende 110 agentes y 584 herramientas individuales. La evaluación abarca puntos de escala desde 10 a 110 agentes (51 a 584 herramientas).

• Modelos: Se evaluaron tres modelos de frontera: GPT-5.1, GPT-5.4 (OpenAI) y Claude Sonnet 4.5 (Anthropic).
• Datos:
  • Consultas Sintéticas: 4,105 consultas generadas por GPT-4o, categorizadas como explícitas (nombrando la herramienta) e implícitas (describiendo la necesidad). El estudio se centra principalmente en las consultas implícitas, que representan el tráfico realista de producción.
  • Consultas de Producción: 1,345 expresiones anotadas por humanos extraídas de tráfico en vivo, anotadas por tres lingüistas para establecer una verdad fundamental dinámica que tenga en cuenta el solapamiento semántico.
• Métricas: Precisión multietiqueta, recall (exhaustividad) y puntuación F1, computadas contra un conjunto válido dinámico (herramienta objetivo + cualquier otra herramienta también válida presentes en la etapa de escala específica).

Marco de Diagnóstico

Los autores emplean un Análisis de Oráculo para descomponer los fallos de enrutamiento en dos brechas distintas:

1. Brecha de Recuperación (Retrieval Gap): La pérdida de rendimiento causada por la incapacidad del modelo para presentar la herramienta correcta de la colección completa.
2. Brecha de Confusión (Confusion Gap): La pérdida de rendimiento que persiste incluso cuando la herramienta correcta está garantizada que esté presente (el "techo del oráculo" cae a medida que el catálogo crece).

Intervenciones

El estudio evalúa el listado corto basado en embeddings (shortlisting) como una intervención primaria. Esto implica utilizar un recuperador denso (text-embedding-3-large) para pre-filtrar el catálogo completo hasta un listado corto de $k=20$ herramientas antes de que el enrutador LLM tome su decisión final. Esto se compara con:

• Enrutamiento plano (sin listado corto).
• Búsqueda de herramientas nativa de la plataforma (la búsqueda de namespace de OpenAI).
• Enfoques a nivel de paquete (enrutamiento jerárquico, embedding a nivel de paquete).
• Recuperadores ajustados (ToolRet-e5).
• Recuperación léxica (BM25).

Resultados Clave

1. Degradación por Escalamiento

La precisión del enrutamiento se degrada significativamente a medida que el catálogo se expande.

• Caída de F1: En consultas implícitas, las puntuaciones F1 caen entre 16 y 23 puntos porcentuales en todos los modelos a medida que el catálogo crece de 51 a 584 herramientas.
• Impulsada por el Recall: La degradación es impulsada principalmente por un colapso en el recall (cayendo de ~55% a ~37%), mientras que la precisión cae de forma más moderada. El modelo pierde herramientas válidas con mayor frecuencia en lugar de seleccionar herramientas inválidas.
• Techo del Oráculo: Incluso con una recuperación perfecta (un listado corto de oráculo), el techo de F1 cae 10 puntos porcentuales (de 79% a 69%). Esto revela una brecha de confusión donde el modelo tiene dificultades para distinguir entre herramientas semánticamente similares incluso cuando se presentan juntas.

2. Efectividad del Listado Corto (Shortlisting)

El listado corto basado en embeddings ($k=20$) recupera con éxito una parte significativa del rendimiento perdido.

• Recuperación: El listado corto recupera +10–11 puntos porcentuales en F1 a escala completa en los tres modelos y dos proveedores.
• Validación de Producción: En el tráfico real anotado por humanos, la recuperación es aún más pronunciada, oscilando entre +10 y +17 puntos porcentuales, a pesar de que el rendimiento base absoluto es 10–15 puntos inferior al de los datos sintéticos.
• Reducción de Errores: El listado corto reduce los fallos de enrutamiento del 31% al 10% a escala completa. El compromiso es una tasa de fallo del listador del 9% estable (casos donde la herramienta correcta no está incluida en el top 20).

3. Rendimiento Comparativo

• Nivel de Herramienta vs. Nivel de Paquete: La recuperación a nivel de herramienta supera consistentemente a los enfoques a nivel de paquete (enrutamiento jerárquico, embedding a nivel de paquete) por 2–4 puntos porcentuales. Los métodos a nivel de paquete suelen diluir el conjunto de candidatos con herramientas hermanas irrelevantes.
• Denso vs. Léxico: La recuperación por embedding denso (52.5% F1) supera significativamente a la coincidencia léxica (BM25, 32.8% F1) y a los recuperadores ajustados entrenados en datos centrados en APIs (48.7% F1). El BM25 falla porque las herramientas empresariales comparten un alto solapamiento de vocabulario.
• Consistencia del Modelo: Aunque los modelos más fuertes (por ejemplo, GPT-5.4, Sonnet) proporcionan una base más alta, siguen la misma curva de degradación. El listado corto proporciona una mejora delta consistente independientemente de la fuerza del modelo base.

Significancia y Reivindicaciones

El documento afirma proporcionar un diagnóstico controlado y fundamentado en producción de la "ley de escala" para el enrutamiento de agentes. Sus contribuciones principales son:

1. Descomposición del Fallo: Distingue entre errores de recuperación (el modelo no puede encontrar la herramienta) y errores de confusión (el modelo no puede elegir entre herramientas similares). Esto aclara que, si bien una mejor recuperación puede resolver la mayoría de los problemas de escalado, persiste una brecha de confusión fundamental que la recuperación por sí sola no puede cerrar.
2. Validación del Listado Corto: Demuestra que el listado corto basado en embeddings es una intervención altamente efectiva y escalable que recupera ~10–17 pp de F1, lo que lo convierte en una estrategia viable para sistemas empresariales con cientos de herramientas.
3. Limitaciones de las Plataformas Actuales: El estudio sugiere que las funciones de búsqueda nativas de la plataforma (como la búsqueda de namespace de OpenAI) ofrecen solo un alivio parcial y se estancan en tamaños de catálogo más grandes, mientras que el listado corto personalizado mediante embeddings continúa escalando eficazmente.
4. Especificidad del Dominio: Los autores señalan que estos hallazgos son específicos de dominios con solapamiento semántico denso (como la productividad empresarial). Los dominios con herramientas funcionalmente distintas podrían degradarse más lentamente, pero el patrón cualitativo de degradación impulsada por el recall es probablemente transferible.

El documento concluye que, si bien la brecha de recuperación es abordable mediante una mejor selección de candidatos (listado corto), la brecha de confusión (al menos 10pp) requiere innovaciones arquitectónicas o de nivel de prompt más allá de la simple recuperación, tales como la deduplicación de descripciones o la clarificación en múltiples turnos.