💬 NLP

SLMs as Multi-Agent Routers: A Progressive SFT and Reinforcement Learning Approach

Este artículo propone un modelo de lenguaje pequeño entrenado mediante el ajuste fino supervisado progresivo y el aprendizaje por refuerzo para enrutar dinámicamente las consultas a agentes de recuperación especializados basándose en el rendimiento de la recuperación en lugar de solo en la intención, logrando una relevancia significativamente mayor (NDCG@10 de 0,771) y una latencia menor (120,1 ms) en comparación con los modelos de lenguaje grandes de referencia.

Autores originales: Gayathri V Kondapalli, Alexander Ng, Hirsh Pithadia, Rahul Monish, Harvey Yorke, Amir Kayhani

Publicado 2026-08-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gayathri V Kondapalli, Alexander Ng, Hirsh Pithadia, Rahul Monish, Harvey Yorke, Amir Kayhani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que entras en una enorme biblioteca futurista donde cada libro ha sido escrito por un experto diferente. Hay una sección para la física cuántica, otra para la historia antigua, un ala entera dedicada a la cocina e incluso una sala dedicada a los secretos del genoma humano. En esta biblioteca, los bibliotecarios son robots superinteligentes. Algunos son genios encontrando artículos médicos, mientras que otros son maestros de los informes financieros. ¿El problema? No sabes a qué robot preguntarle. Si le preguntas al robot de finanzas sobre una receta de pan de masa madre, podría intentar encontrar una conexión con los mercados de valores y darte una respuesta confusa e inútil. Si le preguntas al robot médico sobre una caída del mercado de valores, podría empezar a diagnosticarte una enfermedad rara.

Este es el mundo de la "Recuperación Multi-Agente" (Multi-Agent Retrieval). En el mundo digital, tenemos muchos agentes de IA especializados (piensa en ellos como esos robots expertos) diseñados para buscar tipos específicos de información. El gran desafío es el "Router": la parte del sistema que decide qué robot recibe tu pregunta. Durante mucho tiempo, la mejor forma de elegir un robot era adivinar de qué trataba la pregunta basándose en las palabras utilizadas. Si decías "acciones", el sistema elegía al robot de finanzas. Pero esto es como juzgar un libro por su portada; a veces una pregunta sobre "acciones" trata en realidad sobre la historia de una empresa, no sobre su precio actual, y el robot de finanzas podría no dar en el blanco. Los autores de este artículo querían construir un Router más inteligente que no solo adivine el tema, sino que realmente aprenda de los resultados para ver qué robot es realmente el más adecuado.

El artículo, titulado "SLMs as Multi-Agent Routers: A Progressive SFT and Reinforcement Learning Approach", propone una solución ingeniosa a este problema. Los autores argumentan que simplemente adivinar el tema no es suficiente porque ignora si el robot elegido encuentra buenas respuestas. En su lugar, entrenaron a un modelo de IA diminuto y superrápido (llamado Modelo de Lenguaje Pequeño o SLM) para actuar como el policía de tráfico definitivo. No solo le enseñaron a leer preguntas; le enseñaron a aprender de la experiencia.

Así fue como lo hicieron, utilizando un proceso de entrenamiento de dos pasos que es como enseñar a un nuevo empleado. Primero, utilizaron el "Ajuste Fino Supervisado" (Svised Fine-Tuning o SFT). Imagina mostrarle al nuevo empleado miles de ejemplos de preguntas y el robot "correcto" a elegir. Esto le dio al modelo una base sólida, enseñándole que "finanzas" suele significar el robot de finanzas y "genética" suele significar el robot de ciencia. Sin embargo, los autores se dieron cuenta de que esto no era suficiente. Al igual que un nuevo empleado que solo memoriza un manual, el modelo no podía distinguir entre una pregunta que parecía pertenecer a un robot pero que en realidad era mejor adecuada para otro.

Para solucionar esto, añadieron un segundo paso: el "Aprendizaje por Refuerzo" (Reinforcement Learning o RL). Aquí es donde el modelo llega a jugar un juego. Elige un robot, obtiene los resultados y luego un "juez" (otra IA) califica qué tan buenos fueron esos resultados. Si el modelo eligió el robot equivocado y obtuvo malos resultados, recibió un "castigo" (una puntuación baja). Si eligió el robot correcto o se dio cuenta de que un robot especializado era un mal ajuste y cambió a uno general, recibió una "recompensa". Con el tiempo, el modelo aprendió a detectar los casos complicados donde un robot especializado fallaría, incluso si la pregunta parecía encajar perfectamente.

Los resultados fueron impresionantes. El diminuto modelo que entrenaron, que tiene solo 0.6 mil millones de parámetros (haciéndolo mucho más pequeño que los modelos gigantes con los que se comparó), se convirtió en un mejor tomador de decisiones que dos modelos de IA muy grandes y costosos (Amazon Nova Lite y Claude Haiku 4.5). Cuando se probó en una escala estándar de 0 a 1 (donde 1 es perfecto), el nuevo router logró un puntaje promedio de 0.771, mientras que los modelos grandes obtuvieron 0.594 y 0.552.

La verdadera magia ocurrió cuando probaron el router con las preguntas "difíciles": aquellas donde un robot especializado acertaría el tema pero fallaría en la respuesta. En estas consultas desajustadas específicas, el nuevo router obtuvo un masivo 0.918, mientras que los modelos grandes lucharon con puntajes de 0.539 y 0.490. Esto demuestra que el nuevo modelo aprendió a detectar cuándo un agente especializado era un mal ajuste, una habilidad que los modelos más grandes pasaron por alto porque solo miraban el tema superficial.

La velocidad fue otra gran victoria. En el mundo real, esperar por una decisión es frustrante. El nuevo router tomó sus decisiones en un promedio de 120.1 milisegundos. Eso es un 82.4% más rápido que el modelo Amazon Nova Lite, que tardó 683.6 milisegundos, y un asombroso 95.1% más rápido que el modelo Claude Haiku, que tardó 2,457 milisegundos.

En resumen, el artículo muestra que no necesitas un cerebro gigante, lento y costoso para tomar decisiones de enrutamiento inteligentes. Al entrenar a un cerebro pequeño y rápido para que aprenda de la calidad de los resultados que ayuda a generar, puedes construir un sistema que sea no solo más inteligente al elegir al experto adecuado, sino también increíblemente rápido. Los autores sugieren que este enfoque podría revolucionar la forma en que construimos sistemas de IA que necesitan buscar información de manera rápida y precisa, demostando que, a veces, un modelo pequeño entrenado con la retroalimentación adecuada es mejor que un gigante adivinando en la oscuridad.

Resumen Técnico: Los SLM como Enrutadores Multi-Agente

Definición del Problema
En los sistemas de recuperación multi-agente, la selección del agente especializado óptimo para una consulta dada es un determinante crítico de la calidad de la recuperación. Si bien los agentes especializados (por ejemplo, para genómica, finanzas o patentes) suelen producir resultados de mayor calidad que una búsqueda de propósito general, la selección del agente correcto sigue siendo un desafío abierto. Los enfoques actuales dependen del enrutamiento basado en la intención, donde un modelo infiere el tema o la intención de la consulta para seleccionar un agente. Sin embargo, este enfoque es fundamentalmente limitado: depende únicamente de las características intrínsecas de la consulta y nunca observa los resultados reales de la recuperación. En consecuencia, los sistemas basados en la intención no pueden detectar "desajustes agente-consulta" (agent-query mismatches): situaciones en las que una consulta se alinea superficialmente con el dominio de un agente especializado pero queda fuera de su pericia específica, lo que conduce a resultados de baja relevancia. Además, el uso de Modelos de Lenguaje Grandes (LLMs) para esta capa de selección introduce costos de inferencia y latencia significativos, creando un cuello de botella en los sistemas agénticos de producción.

Metodología
Los autores proponen un enfoque de entrenamiento progresivo utilizando un Modelo de Lenguaje Pequeño (SLM) (específicamente un modelo Qwen3 de 0.6B parámetros) para realizar el enrutamiento multi-agente. El método consta de dos etapas distintas:

Ajuste Fino Supervisado (SFT): El modelo es entrenado primero en un conjunto de datos de 56,000 consultas (derivadas de registros de producción y generación sintética) para aprender las características intrínsecas de la consulta. El resultado es una tupla estructurada que comprende:
- Una máscara de bits (bitmask) que selecciona uno o más agentes de un grupo de 11 dominios.
- Palabras clave salientes extraídas.
- Intervalos temporales inferidos (fechas de inicio/fin).
  Esta etapa establece una base sólida para la comprensión de la consulta y la clasificación de la intención, pero sigue siendo limitada por la falta de retroalimentación de la calidad de la recuperación.
Aprendizaje por Refuerzo (RL): El punto de control (checkpoint) de SFT se refina posteriormente mediante RL (específicamente REINFORCE++) para fundamentar las decisiones de selección en la calidad de la recuperación posterior (downstream).
- Proceso: Para cada consulta, el modelo genera una decisión de enrutamiento y parámetros. El agente seleccionado ejecuta la recuperación y los resultados son evaluados.
- Función de Recompensa: Una función de recompensa jerárquica ( $R$ $R$ ) guía la política, equilibrando dos señales:
  - Calidad de Enrutamiento ( $R_{src}$ ): Mide la alineación con la intención de la consulta, la precisión de las palabras clave y la exactitud de las fechas.
  - Calidad de Contenido ( $R_{con}$ ): Mide la relevancia y la confiabilidad de los resultados recuperados utilizando un LLM como juez (LLM-as-judge).
- Mecanismo: Una penalización de divergencia KL restringe la política para que permanezca cerca del punto de control de SFT, evitando el olvido catastrófico mientras permite al modelo aprender cuándo redirigir consultas lejos de agentes que están temáticamente alineados pero que son ineficaces.

Contribuciones Clave

Calidad de Recuperación vía RL: Los autores demuestran que fundamentar la selección de agentes en señales de calidad de recuperación mediante RL produce resultados superiores en comparación con los baselines de solo intención.
Detección de Desajustes: El enrutador entrenado identifica con éxito desajustes agente-consulta que son invisibles para el enrutamiento basado en la intención. Aprende a redirigir consultas hacia agentes más adecuados (por ejemplo, generales o agentes especializados alternativos) cuando un agente temáticamente alineado falla en recuperar contenido relevante.
Eficiencia: El enfoque logra una alta calidad de selección con una latencia y costo significativamente menores que los LLMs más grandes, lo que lo hace viable para sistemas agénticos de gran escala en tiempo real.

Resultados Experimentales
El sistema fue evaluado contra dos baselines de LLM ligeros: Amazon Nova Lite y Claude Haiku 4.5.

Calidad de Recuperación General: El SLM (SFT+RL) logró un NDCG@10 medio de 0.771, superando a Nova Lite (0.594) y a Haiku (0.552).
Robustez de Enrutamiento (Manejo de Desajustes): En un subconjunto dirigido de consultas donde los agentes especializados estaban desajustados con el contenido, el SLM logró un NDCG@10 de 0.918, comparado con 0.539 para Nova Lite y 0.490 para Haiku. Esto resalta la capacidad del modelo para detectar y corregir errores de enrutamiento que los sistemas basados en la intención pasan por alto.
Latencia y Costo: El SLM logró una latencia de selección media de 120.1ms, lo que representa una reducción del 82.4% sobre Nova Lite (683.6ms) y una reducción del 95.1% sobre Haiku (2,457ms). La latencia P99 se mantuvo por debajo de los 200ms (179.4ms).
Varianza: El SLM exhibió una menor varianza en el rendimiento ( $\pm0.372$ ) en comparación con los baselines, lo que indica un comportamiento de enrutamiento más consistente a través de los tipos de consulta.

Significancia y Reivindicaciones
El artículo argumenta que la calidad de la selección de agentes está determinada por la señal de entrenamiento, no por el tamaño del modelo. Si bien los LLMs más grandes poseen más conocimiento paramétrico, no pueden aprender la idoneidad de un agente dependiente de la tarea sin retroalimentación de los resultados de la recuperación. Al combinar SFT (para la comprensión de la consulta) con RL (para el refinamiento basado en resultados), un modelo pequeño puede superar a modelos mucho más grandes tanto en precisión como en eficiencia.

Los autores concluyen que este enfoque progresivo permite un enrutamiento de extremo a extremo de sub-150ms a escala, eliminando el compromiso tradicional entre la calidad de la selección y la latencia operativa. Señalan que, si bien el trabajo actual se centra en un grupo fijo de 11 agentes, el trabajo futuro podría extenderse a grupos de agentes dinámicos condicionando el enrutador a representaciones explícitas de la capacidad del agente.

Más como este