Resumen Técnico: Más allá del Sesgo Estático: Bandidos Multi-Fidelidad Adaptativos con Proxies Mejorables

Definición del Problema

Este trabajo aborda una extensión específica del problema de bandidos multi-brazo estocásticos (MAB) conocida como Bandidos Multi-Brazo Multi-Fidelidad (MF-MAB). En los escenarios estándar de MF-MAB, los brazos pueden evaluarse utilizando múltiples fuentes de retroalimentación (fidelidades) que equilibran el costo frente a la precisión. Los marcos tradicionales asumen un sesgo estático entre las fuentes de baja fidelidad (baratas) y las de alta fidelidad (costosas); la discrepancia es fija independientemente de cuántas veces se consulte la fuente de baja fidelidad.

Sin embargo, las aplicaciones modernas que involucran simuladores basados en aprendizaje y Modelos de Lenguaje Grandes (LLM) como evaluadores exhiben una dinámica diferente: la fuente proxy de baja fidelidad puede mejorar con calibración adicional o uso repetido. El artículo investiga un escenario de MF-MAB con restricción presupuestaria donde:

1. Existen $K$ brazos con una media objetivo de alta fidelidad estacionaria $\mu^{(H)}_k$.
2. Una fuente de baja fidelidad proporciona observaciones $Y^{(L)}_{k,\tau}$ que evolucionan en función del número de consultas $\tau$ realizadas a ese brazo específico.
3. La fuente de baja fidelidad comienza con una discrepancia respecto al objetivo de alta fidelidad, pero esta discrepancia disminuye a medida que la fuente se consulta con mayor frecuencia (por ejemplo, mediante calibración).
4. El objetivo es minimizar el pseudo-arrepentimiento ponderado por costo, definido como el costo acumulado incurrido al seleccionar brazos subóptimos, en lugar de simplemente el número de extracciones.

El desafío central es determinar cuándo dejar de consultar la fuente de baja fidelidad que mejora y escalar a la fuente costosa de alta fidelidad. Una regla de umbral estática podría escalar demasiado pronto, perdiendo la oportunidad de que la fuente de baja fidelidad se vuelva suficientemente precisa mediante un muestreo barato continuo.

Metodología

Modelado del Proxy Mejorable

Los autores introducen un límite de discrepancia de promedio seleccionado para capturar la discrepancia evolutiva. En lugar de asumir un sesgo fijo $|\mu^{(L)}_k - \mu^{(H)}_k| \le \zeta$, asumen un certificado evolutivo $U_k(n)$ tal que la discrepancia acumulada está acotada:
$$\sum_{\tau=1}^n |\mu^{(L)}_k(\tau) - \mu^{(H)}_k| \le U_k(n)$$
Esto conduce a un límite de discrepancia de promedio seleccionado $B_k(n) = \sup_{s \ge n} U_k(s)/s$, que acota la discrepancia entre la media empírica de baja fidelidad y el objetivo verdadero de alta fidelidad. A medida que $n$ aumenta, $B_k(n)$ disminuye, reflejando la fiabilidad mejorada del proxy.

El Algoritmo TACC

El artículo propone el algoritmo Compañero de Continuación Adaptativa Basado en Umbral (TACC). TACC opera sobre una plantilla basada en confianza, pero introduce una regla de continuación acotada novedosa para la fuente de baja fidelidad.

1. Límites de Confianza: TACC construye Límites Superiores de Confianza (UCB) para el objetivo de alta fidelidad $\mu^{(H)}_k$ utilizando ambas fidelidades.
   • UCB de alta fidelidad: Intervalo estadístico estándar.
   • UCB de baja fidelidad: Intervalo estadístico estándar más la corrección de discrepancia $B_k(n)$.
2. Selección de Brazo: El algoritmo selecciona el brazo con la puntuación optimista más alta, definida como el mínimo de los UCB de baja y alta fidelidad.
3. Selección de Fidelidad (La Innovación Central):
   • Pre-umbral: Si la incertidumbre estadística de baja fidelidad (radio) está por encima de un umbral $\gamma$, el algoritmo continúa muestreando en baja fidelidad.
   • Post-umbral: Una vez que el radio estadístico cae por debajo de $\gamma$, una regla estática escalaría inmediatamente a alta fidelidad. Sin embargo, TACC verifica si una continuación acotada es rentable.
   • Regla de Continuación: El algoritmo calcula la disminución anticipada en la corrección de discrepancia $V_{k,t}(s)$ si se realizan $s$ consultas adicionales de baja fidelidad. Si la reducción en la discrepancia es suficiente para potencialmente certificar la suboptimalidad del brazo sin confirmación de alta fidelidad, y el costo de estas consultas adicionales está acotado (específicamente, $S_0 \lambda^{(L)} \le \lambda^{(H)}$), TACC continúa muestreando en baja fidelidad. De lo contrario, escala a alta fidelidad.

Contribuciones Clave

1. Formulación del Problema: El artículo formaliza el escenario de MF-MAB con fuentes proxy mejorables, superando la suposición de sesgo estático prevalente en la literatura anterior. Introduce el límite de discrepancia de promedio seleccionado para modelar la reducción dinámica de la discrepancia.
2. Diseño del Algoritmo: Se propone TACC como un algoritmo optimista que combina la selección estándar de brazos con una regla de continuación post-umbral acotada. Esta regla decide explícitamente si la "mejora" de la fuente de baja fidelidad justifica retrasar la consulta costosa de alta fidelidad.
3. Análisis Teórico: Los autores derivan un límite de arrepentimiento dependiente de la instancia. El análisis divide los brazos subóptimos en tres clases:
   • Brazos fáciles ($A_\gamma$): Certificados por baja fidelidad antes del umbral.
   • Brazos intermedios ($C_\gamma$): No certificados en el umbral estático, pero se vuelven certificables después de la continuación acotada de baja fidelidad.
   • Brazos difíciles ($H_\gamma$): Requieren confirmación de alta fidelidad.
     El límite demuestra que para los brazos intermedios detectados, TACC reemplaza el costo logarítmico de confirmación de alta fidelidad con un costo de continuación de baja fidelidad acotado.
4. Validación Empírica: Los experimentos en bandidos sintéticos y una tarea de evaluación de políticas controlada con LLM como juez demuestran que TACC reduce el arrepentimiento ponderado por costo en comparación con las reglas multi-fidelidad estáticas (MF-UCB) y las líneas base solo de alta fidelidad (UCB).

Resultados

Experimentos Sintéticos

En configuraciones sintéticas con 200 y 500 brazos, TACC logró consistentemente un menor arrepentimiento ponderado por costo que UCB, MF-UCB y reglas estáticas de dos fidelidades. La ventaja fue más pronunciada en escenarios con altos costos de alta fidelidad (por ejemplo, $\lambda^{(H)} = 50$), donde evitar confirmaciones de alta fidelidad innecesarias mediante continuación acotada generó ahorros significativos.

Experimento con LLM como Juez

Los autores evaluaron TACC en una tubería de evaluación de políticas donde los brazos eran políticas de prompts para Inferencia de Lenguaje Natural (NLI).

• Configuración: La baja fidelidad fue un "juez débil" (un LLM más pequeño) que mejoró con la calibración; la alta fidelidad fue un "verificador" (verdad fundamental).
• Hallazgos: TACC superó a todas las líneas base, incluida una ablación directa (DNC) que utilizaba los mismos límites de discrepancia pero carecía de la lógica de continuación. TACC redujo el arrepentimiento ponderado por costo final en aproximadamente un 10-20% en comparación con las mejores líneas base estáticas, confirmando que el mecanismo de continuación acotada aprovecha eficazmente la naturaleza mejorable del juez débil para evitar una escalada prematura al verificador costoso.

Significado y Afirmaciones

El artículo afirma que el significado principal de este trabajo radica en reconocer que las fuentes proxy en los sistemas de IA modernos no son estáticas. Al tratar la fuente de baja fidelidad como una entidad mejorable, los autores muestran que la estrategia óptima no es simplemente cambiar de fidelidad basándose en la incertidumbre actual, sino continuar adaptativamente muestreando la fuente barata si se espera que mejore lo suficiente para resolver la ambigüedad.

Los autores enmarcan modestamente su contribución como un modelo canónico de dos fidelidades. Reconocen limitaciones, señalando que el trabajo actual asume un límite de discrepancia conocido y se centra en la evolución local del brazo (donde la mejora ocurre solo cuando se consulta un brazo específico), en lugar de un ajuste fino global del modelo que afecte a todos los brazos simultáneamente. El trabajo sirve como un paso fundamental hacia estrategias de asignación de fidelidad más complejas y dinámicas en escenarios que involucran LLM y simuladores basados en aprendizaje.