🤖 AI

Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation

Este artículo presenta "Pandora's Router", un marco de trabajo que aplica el problema clásico de la Caja de Pandora para enrutar eficientemente consultas de IA entre especialistas heterogéneos al equilibrar de manera óptima el costo de la estimación de valor frente a la ganancia potencial en la calidad de la asignación, demostrando que este enfoque iguala el rendimiento de la estimación exhaustiva mientras reduce significativamente el uso de estimadores costosos.

Autores originales: Adam Fisch, Shubhendu Trivedi, Fantine Huot, William W. Cohen, Michael Kaisers, Mirella Lapata, Kate Larson, Jacob Eisenstein

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Adam Fisch, Shubhendu Trivedi, Fantine Huot, William W. Cohen, Michael Kaisers, Mirella Lapata, Kate Larson, Jacob Eisenstein

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el panorama de rápida expansión de la inteligencia artificial, ha surgido un nuevo desafío que trata menos sobre construir máquinas más inteligentes y más sobre gestionarlas con sabiduría. Hoy en día, las organizaciones no dependen de un único cerebro monolítico para resolver cada problema. En su lugar, despliegan un ecosistema diverso de modelos especializados: algunos son pequeños, rápidos y económicos, diseñados para tareas sencillas; otros son masivos, lentos y costosos, reservados para el razonamiento complejo o el análisis profundo. También hay modelos equipados con herramientas externas, como motores de búsqueda o bases de datos especializadas, que pueden mejorar la precisión pero añaden sus propios costos. La pregunta central para cualquiera que gestione estos sistemas es cómo decidir qué herramienta utilizar para un trabajo específico. Si se envía una consulta simple a un modelo gigante y costoso, se desperdicia dinero. Si se envía un problema difícil y matizado a un modelo barato y simple, se obtiene una respuesta deficiente. El objetivo es dirigir cada solicitud al especialista con mayor probabilidad de éxito al menor costo posible.

Sin embargo, tomar esta decisión no es gratuito. Para saber qué modelo es el mejor para una pregunta dada, un sistema debe primero estimar la calidad de la respuesta que cada modelo proporcionaría. Este proceso de estimación viene en dos sabores. Un estimador "barato" podría observar la pregunta y adivinar basándose en patrones generales, lo cual es rápido pero a menudo ruidoso y poco fiable. Un estimador "costoso" podría ejecutar realmente una versión parcial de la tarea o consultar a un modelo más potente para obtener una predicción precisa, pero esto requiere tiempo y dinero. El dilema es un compromiso clásico: ¿pagas para obtener una mejor suposición antes de tomar tu decisión, o simplemente adivinas basándote en la información barata que ya tienes? Si pagas con demasiada frecuencia, el costo de verificar consume tus ahorros. Si verificas con demasiada poca frecuencia, tomas malas decisiones de enrutamiento.

Los investigadores de Google DeepMind han abordado este problema enmarcándolo como un acertijo bien conocido de la economía llamado "La Caja de Pandora". Imagina a una persona ante varias cajas selladas, cada una con un premio oculto de valor desconocido. La persona conoce la distribución general de los premios, pero no el contenido específico de ninguna caja individual. Para ver qué hay dentro, debe pagar una tarifa para abrir la caja. El objetivo es maximizar el valor del premio que termina obteniendo, menos las tarifas totales pagadas para abrir las cajas. La estrategia óptima, descubierta hace décadas, consiste en calcular un "precio de reserva" para cada caja: un umbral de valor específico que le indica a la persona si la ganancia potencial de abrir la caja vale el costo de la tarifa. Si la mejor opción actual ya es superior a este umbral, es más inteligente saltarse la caja por completo.

Los investigadores aplicaron esta lógica al enrutamiento de modelos de IA, tratando cada modelo de IA disponible como una caja sellada. La estimación de valor "barata" es la suposición inicial, mientras que la estimación "costosa" es el acto de abrir la caja para ver el potencial real. Desarrollaron un sistema que llaman "Pandora's Router" (El Enrutador de Pandora), que calcula estos precios de reserva para cada modelo y cada pregunta entrante. El sistema decide dinámicamente si el costo adicional de ejecutar una verificación más precisa está justificado. Si la suposición barata sugiere que un modelo es probablemente el mejor, o si el costo de la verificación es demasiado alto, el enrutador se salta la verificación costosa y se compromete con una elección. Si la suposición barata es incierta y el costo de la verificación es bajo, el enrutador paga para obtener una mejor estimación antes de decidir.

Para probar este enfoque, el equipo realizó experimentos en tres escenarios muy diferentes del mundo real. El primero involucró el razonamiento matemático, donde los modelos tenían que elegir entre un resolvedor básico y rápido y uno más lento y potente que podía realizar un razonamiento extendido paso a paso. El segundo escenario se centró en la generación aumentada por recuperación, donde el sistema tenía que decidir si utilizar un modelo que simplemente se basa en su conocimiento interno o uno que paga para buscar primero en una base de datos de documentos. El tercero fue un benchmark a gran escala que involucraba más de cien modelos de lenguaje diferentes, que iban desde diminutos hasta masivos, donde el sistema tenía que elegir el adecuado para una amplia variedad de preguntas de conocimiento general.

Los resultados mostraron que Pandora's Router navegó con éxito el compromiso entre costo y precisión. En situaciones donde la verificación costosa era barata de ejecutar, el sistema la consultaba con frecuencia, logrando un rendimiento casi idéntico al de un sistema que verifica cada modelo cada vez. Pero a medida que el costo de la verificación aumentaba, el enrutador se volvía mucho más selectivo, saltándose las verificaciones costosas siempre que la suposición barata fuera lo suficientemente confiable. Esto permitió al sistema mantener decisiones de enrutamiento de alta calidad mientras gastaba significativamente menos dinero que el enfoque de "verificar todo". De hecho, en los tres dominios, el enrutador igualó la calidad de la verificación exhaustiva mientras consultaba los estimadores costosos con mucha menos frecuencia, encontrando efectivamente el punto óptimo donde el costo de la información valía el valor de la decisión que permitía.

Los investigadores también exploraron una versión más descentralizada de este problema, que llamaron "Pandora's Bidder" (El Postor de Pandora). En esta configuración, en lugar de un gestor central que toma todas las decisiones, los propios modelos de IA actúan como postores. Cada modelo ve el precio ofrecido por la mejor oferta competidora y debe decidir si invierte sus propios recursos en una autoevaluación para ver si puede ganar el trabajo. Esto refleja un mercado donde los especialistas deciden por sí mismos si vale la pena el esfuerzo de refinar sus propias estimaciones antes de aceptar un contrato. El estudio encontró que cuando las estimaciones competidoras eran precisas, este razonamiento descentralizado mejoraba la eficiencia. Sin embargo, cuando las estimaciones competidoras eran ruidosas o poco fiables, los modelos estratégicos a veces actuaban en su propio interés de una manera que perjudicaba el rendimiento general del sistema, resaltando una tensión entre el beneficio individual y la eficiencia colectiva que no existe en la versión centralizada.

En última instancia, el trabajo demuestra que la decisión de cómo evaluar los modelos de IA es, en sí misma, un problema de optimización complejo. Al tratar la estimación de valor como una actividad costosa que debe sopesarse contra sus beneficios, en lugar de un paso gratuito o fijo, los investigadores crearon un marco que se adapta a las realidades económicas del uso de la IA. El sistema no confía ciegamente en las suposiciones baratas ni paga ciegamente por las costosas; en su lugar, calcula el momento preciso en que el valor de saber más supera el precio de enterarse. Este enfoque ofrece un camino práctico para gestionar sistemas de IA heterogéneos, asegurando que se utilice la herramienta adecuada para el trabajo adecuado sin desperdiciar recursos en verificaciones innecesarias.

Resumen Técnico: El Cuadro de Enrutamiento de Modelos de IA de Pandora

Declaración del Problema

A medida que los sistemas de IA dependen cada vez más de familias de modelos heterogéneos —que van desde modelos pequeños y rápidos hasta modelos grandes, costosos o especialistas con aumento de recuperación (RAG)—, el problema de asignar eficientemente las entradas al especialista más adecuado se vuelve crítico. Los enfoques de enrutamiento existentes suelen estimar el retorno esperado (calidad) de cada especialista para una entrada dada y seleccionan el máximo. Sin embargo, estos métodos a menudo tratan la estimación de valor como una operación sin costo. En realidad, existe un compromiso fundamental: los estimadores baratos (por ejemplo, predictores basados en embeddings) son rápidos pero ruidosos, mientras que los estimadores precisos (por ejemplo, modelos ajustados con acceso a trazas de razonamiento parciales o resultados de recuperación) son costosos.

El problema central abordado es la asignación eficiente con estimación de valor costosa. El sistema debe decidir no solo qué especialista seleccionar, sino también qué estimadores de valor consultar para informar esa decisión. El objetivo es maximizar la recompensa esperada del especialista seleccionado menos el costo total del proceso de estimación. Esto implica determinar cuándo el "valor de la información" obtenido de una estimación precisa y costosa justifica su gasto computacional.

Metodología

El artículo formaliza este problema de enrutamiento como una instancia de la Caja de Pandora, un problema clásico de la teoría de búsqueda y la investigación de operaciones (Weitzman, 1979). En esta analogía, cada especialista es una "caja" con un valor oculto. El enrutador tiene acceso a una estimación barata y ruidosa ( $f_m$ ) por defecto y puede pagar un costo ( $c_m$ ) para "abrir la caja" y observar una estimación más precisa ( $g_m$ ).

1. El Enrutador de Pandora (Entorno Centralizado)

En el entorno centralizado, un único enrutador controla la asignación. Los autores proponen el Enrutador de Pandora, una política basada en precios de reserva.

Modelo de Señal: La relación entre la estimación barata $f_m$ y la estimación costosa $g_m$ se modela utilizando un modelo de señal gaussiano: $G_m | F = f \sim \mathcal{N}(\mu_m, \sigma_m^2)$ . La media $\mu_m$ es una función de las estimaciones baratas, y $\sigma_m$ captura la incertidumbre residual.
Precio de Reserva ( $u^{rsv}_m$ ): Definido como el valor de la opción externa en el cual el beneficio esperado de abrir la caja $m$ equilibra exactamente el costo de inspección. Satisface $\mathbb{E}[(G_m - u^{rsv}_m)^+] = c_m$ .
Inspección No Obligatoria: A diferencia del problema clásico de la Caja de Pandora donde uno debe inspeccionar la caja seleccionada, este trabajo considera la variante de inspección no obligatoria (Doval, 2018; Beyhaghi y Kleinberg, 2019). El enrutador puede seleccionar un especialista sin pagar por inspeccionarlo (usando la estimación barata como una opción "sellada").
Algoritmo:
1. Calcular los precios de reserva y los "precios de respaldo" (para cajas selladas) para todos los especialistas.
2. Identificar un especialista "retenido" para que sirva como la opción externa inicial.
3. Inspeccionar secuencialmente los especialistas restantes en orden descendente de sus precios de reserva.
4. Detenerse cuando el mejor valor observado actual supera el precio de reserva de las cajas restantes no abiertas.
5. Seleccionar el mejor valor observado o el especialista retenido si ninguna inspección valió la pena.
Valores Correlacionados: Para manejar las correlaciones entre especialistas (por ejemplo, modelos similares en un grupo grande), el algoritmo recalcula los precios de reserva en cada paso utilizando una actualización de la posterior gaussiana multivariante.

2. El Postor de Pandora (Entorno Descentralizado)

El artículo extiende el marco a un mercado descentralizado donde los especialistas controlan su propia estimación de valor.

Mecanismo: Un mecanismo de precios publicados donde la plataforma establece un precio basado en las mejores estimaciones competidoras. Un especialista estratégico debe decidir si acepta el precio o lo rechaza.
Valor de la Información (VoI): Antes de aceptar, el especialista puede pagar para refinar su propia autoevaluación. La decisión de inspeccionar se basa en si el precio $p$ cae dentro de un intervalo específico $[p_{lo}, p_{hi}]$ donde la ganancia esperada del refinamiento supera el costo.
Estrategia: El especialista refina su estimación solo cuando el precio está cerca de su valor esperado (incertidumbre alta), aceptando si el valor refinado supera el precio, y rechazando de lo contrario.

Dominios Experimentales

El marco fue evaluado a través de tres dominios distintos:

MATH (Escalamiento en tiempo de inferencia): Enrutamiento entre un modelo de bajo costo y un modelo de alto costo. El estimador costoso $g$ utiliza los primeros 20 tokens de una traza de razonamiento de cadena de pensamiento (CoT) para predecir la corrección.
RAG (Generación Aumentada por Recuperación): Enrutamiento entre un modelo sin recuperación, un modelo RAG de Wikipedia y un modelo RAG de PubMed. El estimador costoso $g$ incorpora resultados de recuperación para predecir la calidad de la respuesta.
EmbedLLM (Selección a Gran Escala): Enrutamiento entre >100 modelos de pesos abiertos. El estimador costoso es un modelo ajustado que predice el rendimiento basándose únicamente en el prompt, ofreciendo una mayor precisión que las líneas base de KNN basadas en embeddings.

Resultados Clave

Rendimiento de Enrutamiento: El Enrutador de Pandora minimiza consistentemente la suma del arrepentimiento (la brecha entre la verdadera recompensa del especialista seleccionado y el óptimo oráculo) y el costo de inspección.
- Iguala el rendimiento de la estimación exhaustiva ( $g$ -siempre) cuando los costos de inspección son bajos.
- Iguala el rendimiento del enrutamiento de solo estimación barata ( $f$ -solo) cuando los costos de inspección son altos.
- En regímenes de costo intermedio, supera significativamente a las líneas base como "Top-2" (consultar las dos mejores estimaciones baratas) y estrategias aleatorias, logrando un costo total cercano al mínimo a través de todo el rango de $c_g$ .
Eficiencia Descentralizada: En el entorno descentralizado, el Postor de Pandora logra interpolar entre la sobreinversión y la subinversión en el refinamiento. Sin embargo, el artículo señala una tensión: cuando las estimaciones competidoras son ruidosas (por ejemplo, basadas en la estimación barata $f$ ), el postor estratégico puede maximizar su propio excedente a expensas de la eficiencia de asignación general.
Ablaciones: El uso del mismo presupuesto de consulta que el Enrutador de Pandora, pero seleccionando las cajas mediante heurísticas aleatorias o basadas en el margen, resultó en un mayor arrepentimiento, confirmando que el orden de los precios de reserva es crítico para la eficiencia.

Significancia y Contribuciones

El artículo reclama tres contribuciones primarias:

Formalización: Es el primer trabajo que conecta explícitamente el enrutamiento de modelos con el problema clásico de la Caja de Pandora, formalizando el enrutamiento con estimación de valor costosa como una instancia de la Caja de Pandora con inspección no obligatoria.
Innovación Algorítmica: Deriva una política basada en precios de reserva con expresiones de valor de la información en forma cerrada bajo un modelo de señal gaussiano, permitiendo la computación eficiente de decisiones de enrutamiento óptimas.
Descentralización: Extiende el marco a un entorno descentralizado (el Postor de Pandora), demostrando cómo los agentes pueden aprovechar el razonamiento del valor de la información en mecanismos de asignación basados en subastas.

Los autores posicionan este trabajo como un paso hacia la comprensión de la economía de la selección de modelos en sistemas de IA heterogéneos, proporcionando un marco unificado para equilibrar el costo y la precisión tanto en el enrutamiento centralizado como en los mercados descentralizados. Reconocen limitaciones, como la dependencia de un modelo de señal gaussiano que puede no capturar colas pesadas, y la naturaleza miope de la estrategia de puja actual que no tiene en cuenta la anticipación estratégica de múltiples rondas.