ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces

Resumen Técnico: ACAR (Enrutamiento Adaptativo de Complejidad)

1. El Problema

La implementación efectiva de Modelos de Lenguaje Grandes (LLMs) enfrenta una tensión fundamental entre calidad y costo:

• Dilema de despliegue: Un solo modelo puede ser barato pero propenso a errores en tareas complejas, mientras que ejecutar múltiples modelos en paralelo (ensamblaje) mejora la fiabilidad pero multiplica los costos de inferencia.
• Falta de mecanismos de enrutamiento: Las estrategias actuales son insuficientes:
  • Los enrutadores aprendidos (basados en clasificación) sufren de desplazamiento de distribución (distribution shift), carecen de trazas de decisión interpretables y no asignan crédito de manera transparente.
  • Las plataformas de observabilidad solo ofrecen análisis post-hoc y no influyen en la asignación de recursos en tiempo de ejecución.
• Desafíos latentes: La dificultad de una tarea es desconocida antes de ejecutarla, la equivalencia semántica de las salidas es difícil de determinar y la atribución de crédito requiere contrafactuales costosos.

2. Metodología

El paper propone ACAR (Adaptive Complexity & Attribution Routing), un marco de medición que utiliza la varianza de auto-consistencia ($\sigma$) como señal para la dificultad de la tarea, en lugar de modelos de aprendizaje automático.

• Substrato de Ejecución (TEAMLLM):

  • Un entorno determinista que garantiza trazas de decisión inmutables y reproducibles.
  • Registra semillas aleatorias, hashes de plantillas y huellas digitales del entorno para permitir la regeneración exacta de resultados.
  • Generó más de 7,550 ejecuciones auditables.

• Algoritmo de Enrutamiento (ACAR):

  1. Fase de Estimación: Se utilizan 3 muestras ($N=3$) de un modelo "sonda" rápido (Gemini 2.0 Flash) para la misma tarea.
  2. Cálculo de $\sigma$: Se calcula la varianza basada en la cantidad de respuestas únicas extraídas:
     • $\sigma = 0.0$: Todas las muestras coinciden (Tarea fácil).
     • $\sigma = 0.5$: 2 de 3 coinciden (Tarea moderada).
     • $\sigma = 1.0$: Todas difieren (Tarea difícil).
  3. Decisión de Enrutamiento:
     • Si $\sigma = 0.0$: Se usa un solo agente (el modelo sonda).
     • Si $\sigma = 0.5$: Se activa un modo "Arena Lite" (2 modelos para verificación).
     • Si $\sigma = 1.0$: Se activa el "Full Arena" (los 3 modelos: Claude Sonnet 4, GPT-4o, Gemini 2.0 Flash) con un juez para seleccionar la mejor respuesta.

• Componentes Evaluados:

  • ACAR-U: Enrutamiento adaptativo sin aumento por recuperación (retrieval).
  • ACAR-UJ: Incluye aumento por recuperación asíncrona de experiencias pasadas (similitud > 0.0).

3. Contribuciones Clave

1. Mecanismo de Enrutamiento Heurístico: Introduce un sistema que no requiere entrenamiento, evitando el desplazamiento de distribución y garantizando trazas de decisión totalmente interpretables.
2. Resultados Negativos Accionables: Documenta sistemáticamente qué falló en la práctica, proporcionando líneas base falsables para la investigación futura.
3. Infraestructura Abierta (TEAMLLM): Libera un substrato de ejecución determinista con más de 7,500 corridas auditable, permitiendo la verificación independiente y la regeneración de todas las figuras del estudio.

4. Resultados Principales

El estudio se evaluó en 1,510 tareas a través de cuatro benchmarks (MathArena, Reasoning Gym, LiveCodeBench, SuperGPQA) utilizando tres modelos de vanguardia.

• Rendimiento y Costo:

  • ACAR-U alcanzó una precisión del 55.6%, superando al ensamble de dos modelos (Arena-2, 54.4%) y reduciendo el costo en un 1.5%.
  • Logró evitar el ensamble completo (3 modelos) en el 54.2% de las tareas, asignando recursos de manera eficiente.
  • La brecha de 8 puntos porcentuales (pp) entre ACAR-U y el ensamble completo (Arena-3, 63.6%) representa un límite teórico inherente al método.

• Hallazgos Negativos Críticos (Lo que NO funcionó):

  1. Aumento por Recuperación (Retrieval) Perjudicial: La variante ACAR-UJ (con recuperación) disminuyó la precisión en 3.4 pp. La similitud mediana de las experiencias recuperadas fue muy baja (0.167), lo que introdujo ruido en lugar de contexto útil. Se concluye que se requieren umbrales de similitud > 0.7.
  2. Fallo "De Acuerdo pero Incorrecto": Cuando las 3 muestras del modelo sonda coinciden en una respuesta incorrecta ($\sigma=0$), el sistema enruta a un solo agente y no puede recuperarse. Este es un límite intrínseco de la auto-consistencia.
  3. Atribución por Proxies: Las estimaciones de atribución basadas en señales proxy (similitud de respuesta, entropía) mostraron una correlación débil con los valores reales calculados mediante contrafactuales. La atribución precisa requiere cómputo explícito de contrafactuales.

5. Significado e Impacto

• Validación de la Medición: El trabajo demuestra que es posible lograr un enrutamiento adaptativo efectivo sin componentes aprendidos, priorizando la auditabilidad sobre la optimización pura de métricas.
• Límites Fundamentales: Establece que la auto-consistencia tiene un "techo" de precisión cuando los modelos fallan de manera unánime, un problema que ningún ensamble posterior puede resolver.
• Advertencia sobre el Contexto: Demuestra que "más contexto" (mediante recuperación) no es automáticamente beneficioso; sin alineación semántica estricta, la recuperación degrada el rendimiento.
• Reproducibilidad: Al proporcionar trazas inmutables y artefactos regenerables, el paper establece un nuevo estándar para la evaluación rigurosa de sistemas multi-modelo, alejándose de las "cajas negras" de los enrutadores aprendidos.

En conclusión, ACAR ofrece un marco pragmático para equilibrar costo y calidad en LLMs, pero advierte sobre las limitaciones inherentes de los métodos basados en consenso y la necesidad de rigor en la integración de recuperación de información.