Select-then-Solve: Paradigm Routing as Inference-Time Optimization for LLM Agents

Resumen Técnico: Select-then-Solve

1. El Problema

La investigación aborda una pregunta fundamental en el desarrollo de agentes basados en Grandes Modelos de Lenguaje (LLM): ¿Las mejoras en el rendimiento provienen del modelo subyacente o de la "paradigma de razonamiento" (la estrategia de inferencia) que lo envuelve?

A pesar de la proliferación de paradigmas como Chain-of-Thought (CoT), ReAct, Plan-and-Execute, Reflection y ReCode, la comunidad carece de comparaciones controladas. Los trabajos previos suelen evaluar un nuevo paradigma en tareas diseñadas específicamente para sus fortalezas, cambiando simultáneamente el modelo, los prompts y las herramientas, lo que impide aislar el valor real de la estructura de razonamiento. La pregunta central es: ¿Cuándo ayuda la estructura de razonamiento adicional y cuándo perjudica?

2. Metodología

Los autores presentan PARADIGM, un marco de evaluación unificado diseñado para comparar de manera controlada seis paradigmas de inferencia a gran escala.

• Paradigmas Evaluados:

  1. Direct: Respuesta libre sin andamiaje.
  2. CoT (Chain-of-Thought): Razonamiento paso a paso instruido.
  3. ReAct: Interleaving de pensamiento y acciones (llamadas a herramientas).
  4. Plan-Execute: Descomposición en un plan antes de actuar.
  5. Reflection: Generación, crítica y revisión de la respuesta.
  6. ReCode: Resolución mediante generación y ejecución recursiva de código.

• Configuración Experimental:

  • Modelos: Cuatro LLMs de vanguardia (GPT-5, Gemini-3-Flash, Qwen3-Max, Qwen3-30B).
  • Benchmarks: Diez conjuntos de datos que cubren generación de código, matemáticas, preguntas de respuesta (QA), conocimiento y uso intensivo de herramientas (ej. HumanEval, MATH500, GAIA, SEAL, etc.).
  • Escala: Aproximadamente 18,000 ejecuciones completadas.
  • Control: Todos los paradigmas comparten la misma interfaz de modelo, código de evaluación y herramientas (búsqueda web y ejecución de Python), diferenciándose solo en cómo organizan la inferencia.

3. Contribuciones Clave

1. Comparación Controlada a Gran Escala: La primera evaluación sistemática que demuestra que la estructura de razonamiento no es universalmente beneficiosa; su valor depende intrínsecamente de la tarea.
2. Evidencia de Complementariedad: Se demuestra que diferentes paradigmas dominan en diferentes tareas. Por ejemplo, ReAct mejora un 44% sobre Direct en GAIA (tareas de búsqueda de información), mientras que CoT degrada el rendimiento en un 15% en HumanEval (generación de código) al interrumpir el flujo de codificación.
3. Marco "Select-then-Solve" (Seleccionar y luego Resolver): Propuesta de un enfoque donde un router ligero (basado en embeddings) selecciona el paradigma más adecuado para cada tarea antes de la ejecución.
4. Análisis de Enrutamiento Automático (Self-Routing): Evaluación de la capacidad de los modelos para elegir su propia estrategia, revelando que esto es una habilidad de metarrazonamiento difícil de lograr para modelos más débiles.

4. Resultados Principales

• Dependencia de la Tarea:

  • En tareas centradas en conocimiento (ej. MMLU), el enfoque Direct a menudo iguala o supera a estructuras complejas, ya que el conocimiento paramétrico es suficiente.
  • En tareas que requieren información externa (ej. GAIA), los paradigmas con herramientas (ReAct, Plan-Execute) son superiores.
  • En generación de código, la estructura excesiva (CoT) puede ser perjudicial.

• El "Oracle Gap" (Brecha del Oráculo):

  • Si se pudiera seleccionar el paradigma perfecto para cada tarea individualmente (Oracle), el rendimiento promedio aumentaría un 17.1 puntos porcentuales (pp) sobre el mejor paradigma fijo. Esto confirma que la complementariedad es real y significativa.

• Rendimiento del Router (Select-then-Solve):

  • El router basado en embeddings logra un 53.1% de precisión promedio en todos los modelos.
  • Supera al mejor paradigma fijo (50.3%) en 2.8 pp y al enfoque Direct (47.6%) en 5.5 pp.
  • Recupera hasta el 37% de la brecha del oráculo (en el modelo Gemini).
  • Eficiencia: El router reduce drásticamente el costo computacional al seleccionar Direct para tareas simples, logrando una precisión superior a ReAct con la mitad del costo de tokens.

• Fallo del Auto-Enrutamiento (Self-Routing):

  • Cuando los modelos intentan elegir su propio paradigma (zero-shot), solo GPT-5 logra un rendimiento decente (67.1%).
  • Los modelos más débiles (Qwen3-Max, Qwen3-30B) fallan estrepitosamente, eligiendo paradigmas con herramientas incluso para tareas de conocimiento, lo que resulta en un rendimiento inferior a su línea base Direct. Esto indica que la selección de paradigmas es una capacidad de metarrazonamiento distinta a la capacidad de ejecución.

5. Significado e Impacto

El artículo desafía la noción de que un agente "mejor" debe tener siempre la estructura de razonamiento más elaborada. En su lugar, propone que la selección del paradigma debe ser una decisión por tarea, gestionada por un componente de enrutamiento aprendido.

• Optimización en Tiempo de Inferencia: El trabajo demuestra que la optimización en tiempo de inferencia (elegir la estrategia correcta) es tan crucial como el escalado de parámetros del modelo.
• Eficiencia de Costos: Al evitar el uso de paradigmas costosos (como Reflection o ReAct) en tareas donde no son necesarios, se logra un equilibrio óptimo entre precisión y costo computacional.
• Futuro de los Agentes: Los agentes más efectivos no serán necesariamente aquellos con los andamiajes más complejos, sino aquellos que saben cuándo usarlos y cuándo abstenerse.

En conclusión, Select-then-Solve establece que la diversidad de paradigmas de razonamiento es un recurso valioso que debe ser gestionado dinámicamente mediante aprendizaje automático, en lugar de ser una elección arquitectónica estática.