Resumen Técnico: SWE-Router

Declaración del Problema

Los Modelos de Lenguaje Extensos (LLMs) integrados en marcos agénticos de múltiples turnos están alcanzando resultados de vanguardia en tareas de ingeniería de software (SWE), como la resolución de problemas de escala de repositorio en GitHub. Sin embargo, el costo de inferencia de los modelos de frontera suele ser un orden de magnitud superior al de las alternativas competitivas de pesos abiertos. Una ineficiencia crítica surge porque las estrategias de enrutamiento existentes tratan cada tarea como si requiriera la capacidad de un modelo de frontera, a pesar de que muchos problemas admiten "soluciones económicas".

Los enrutadores de LLM actuales operan como clasificadores o estimadores de probabilidad basados únicamente en la descripción inicial de la tarea ($q$). Los autores identifican una limitación fundamental en este enfoque: en entornos agénticos, una descripción de problema similar puede ocultar dificultades subyacentes muy distintas (por ejemplo, un error tipográfico localizado frente a una refactorización multimódulo). Esta ambigüedad crea un "suelo de error de Bayes informacional-teórico", donde el prompt por sí solo no puede distinguir entre instancias fáciles y difíciles. En consecuencia, las decisiones de enrutamiento basadas solo en $q$ heredan una alta tasa de error, lo que conduce a una escalada de gasto innecesaria hacia modelos costosos para tareas que un modelo más económico podría resolver.

Metodología: SWE-Router

El artículo presenta SWE-Router, un marco de enrutamiento temporal basado en valor diseñado para superar las limitaciones de información del enrutamiento basado solo en prompts. En lugar de tomar una decisión inmediata basada en $q$, SWE-Router emplea una estrategia de "probar antes de comprar":

1. Fase Exploratoria: Se permite que un modelo económico y débil ($m_1$) ejecute $K$ turnos exploratorios. Durante estos turnos, el agente genera una trayectoria parcial ($\mathcal{T}_{\le K}$) que consiste en pensamientos, acciones y observaciones (por ejemplo, pruebas fallidas, contenidos de archivos, trazas de la pila).
2. Estimación de Valor: Un cabezal de valor aprendido (un clasificador entrenado con recompensas de trayectoria binarias) lee la trayectoria parcial $\mathcal{T}_{\le K}$ y predice la probabilidad de que $m_1$ eventualmente resuelva la tarea.
3. Decisión de Enrutamiento: El sistema compara la utilidad esperada ajustada al costo de continuar con $m_1$ frente a la de escalar a un modelo más fuerte y costoso ($m_2$).
   • Si la probabilidad de éxito predicha de $m_1$ supera un umbral ajustado al costo, $m_1$ continúa la tarea.
   • De lo contrario, el sistema escala a $m_2$, que reinicia la tarea desde el prompt original $q$ (evitando el sesgo del razonamiento de $m_1$).

Fundamento Teórico:
Los autores proporcionan un teorema de optimalidad de Bayes (Teorema 4.1) que demuestra que condicionar en la trayectoria parcial $\mathcal{T}_{\le K}$ nunca perjudica el rendimiento del enrutamiento en comparación con condicionar únicamente en $q$. El teorema establece que la trayectoria parcial porta estrictamente más información que el prompt. La mejora del enrutamiento es estricta siempre que los turnos de exploración proporcionen señales informativas sobre la dificultad de la tarea (es decir, cuando la brecha condicional en las utilidades no es medible por el prompt).

Detalles de Implementación:

• Cabezal de Valor: Un LLM preentrenado (Qwen2.5-Coder-7B-Instruct) con un pequeño cabezal de clasificación, ajustado mediante LoRA sobre recompensas de trayectoria binarias.
• Datos de Entrenamiento: El marco utiliza un conjunto de datos de trayectorias multi-LLM generado ejecutando modelos débiles en los conjuntos de datos SWE-Smith y SWE-Bench.
• Regla de Enrutamiento: Los autores simplifican la regla de decisión a un enfoque de enrutamiento de un solo lado: continuar con $m_1$ si $\hat{r}_1(\mathcal{T}_{\le K}) \ge \lambda'$, donde $\lambda'$ es un umbral ajustado en los datos de validación.

Contribuciones Clave

1. Identificación del Suelo de Error de Bayes: El artículo identifica que los enrutadores condicionados por prompt en SWE agéntico de múltiples turnos heredan un límite informacional-teórico porque la descripción de la tarea a menudo no logra distinguir entre problemas localizados y complejos.
2. Marco de Enrutamiento Temporal: SWE-Router es el primer marco de enrutamiento que condiciona las decisiones de enrutamiento en las propias observaciones intermedias del agente (trayectoria parcial) en lugar de solo en el prompt.
3. Garantía Teórica: Una prueba que demuestra que el condicionamiento por trayectoria parcial mejora estrictamente la optimalidad del enrutamiento cuando la exploración es informativa.
4. Validación Empírica: Experimentos extensos que muestran que SWE-Router mejora significativamente la eficiencia de costos manteniendo las tasas de resolución de los modelos más fuertes.
5. Lanzamiento de Dataset: Los autores liberan un conjunto de datos de trayectorias multi-LLM para permitir la reproducción de la investigación de enrutamiento a nivel de trayectoria.

Resultados Experimentales

Los autores evaluaron SWE-Router en los conjuntos de datos SWE-Bench Verified y SWE-Smith utilizando dos pares de LLMs (Débil: gpt-5-mini o deepseek-v3.2; Fuerte: gemini-3-pro-preview).

• Frontera de Pareto Costo-Rendimiento: SWE-Router (con $K=3$) traza una frontera de Pareto que domina estrictamente a los baselines basados en embeddings (Regresión Logística, k-NN, XGBoost) y a los enrutadores no temporales ($K=0$) en la mayor parte del rango de costos.
• Mejoras en Route-AUC: En el split de prueba de SWE-Bench Verified, SWE-Router logró un Route-AUC de 0.780 (usando deepseek-v3.2 como $m_1$), lo que representa una mejora de +15.3 puntos porcentuales sobre el baseline no temporal. El par gpt-5-mini mostró una mejora de +12 puntos porcentuales.
• Efectos Sinérgicos: Las curvas de enrutamiento ocasionalmente superaron el rendimiento del baseline "todo-fuerte". Esto indica que el enrutamiento correcto de instancias fáciles al modelo débil resolvió casos donde el modelo fuerte (cuando se le obligaba a ejecutar en todas las tareas) fallaba, probablemente debido a la capacidad del modelo débil para explorar sin los modos de fallo específicos del modelo fuerte o sus restricciones de costo.
• Correlación de Métricas: Los autores señalan que el AUROC del cabezal de valor (calidad discriminativa) no está fuertemente correlacionado con el rendimiento real de enrutamiento (Route-AUC), lo que sugiere que el cabezal de valor captura señales matizadas relevantes para el compromiso específico de costo-beneficio en lugar de solo la precisión bruta.

Significancia y Reivindicaciones

El artículo afirma que SWE-Router ofrece un impacto positivo claro al reducir el costo de inferencia y el consumo de energía de los modelos de frontera con un compromiso mínimo en el rendimiento general. Al operacionalizar la idea de que las observaciones intermedias del agente contienen señales estructurales (como datos de localización de errores) no disponibles en el prompt inicial, el marco rompe el techo informacional-teórico que enfrentan los enrutadores basados solo en prompts.

Los autores enmarcan modestamente su contribución como un método para "mejorar enormemente la eficiencia de costos de las tareas de SWE" mientras mantienen la mayor parte del rendimiento del modelo más fuerte. Reconocen que, si bien su enfoque reduce los costos, el uso de trayectorias parciales podría teóricamente ser mal utilizado para eludir modelos enfocados en la seguridad, identificando el enrutamiento consciente de la seguridad como una dirección importante para trabajos futuros. La significancia central radica en el cambio del paradigma de enrutamiento de un análisis de prompt estático a una toma de decisiones dinámica y consciente de la trayectoria en la ingeniería de software agéntica.