Resumen Técnico: Bandidos Multiobjetivo Conscientes del Costo para la Evaluación de Configuraciones de LLM

1. Formulación del Problema

El artículo aborda el desafío de evaluar configuraciones de Modelos de Lenguaje de Gran Escala (LLM) bajo presupuestos limitados. En escenarios prácticos, la selección de configuraciones óptimas (por ejemplo, modelos base, plantillas de prompts, parámetros de decodificación) implica equilibrar múltiples objetivos en competencia —como la precisión de la tarea, la latencia y la robustez— mientras se incurre en costos de evaluación variables. Estos costos surgen del consumo de tokens, tarifas de API o esfuerzos de anotación humana, los cuales difieren significamente entre configuraciones.

Los autores formulan este desafío como un problema de bandidos multiobjetivo conscientes del costo con un presupuesto de evaluación finito $B$. El problema se define por dos objetivos de aprendizaje complementarios:

1. Selección de Configuración Online: Minimizar el arrepentimiento (regret) a lo largo del tiempo mediante la selección adaptativa de configuraciones para maximizar la utilidad acumulada por unidad de costo.
2. Identificación de Configuraciones de Pareto: Identificar el conjunto de configuraciones no dominadas (óptimas de Pareto) dentro de un presupuesto fijo.

El marco modela cada configuración como un brazo que genera un vector estocástico de recompensas $\mathbf{r}_{i,t} \in [0,1]^D$ e incurre en un costo dependiente de la configuración $c_{i,t}$. A diferencia de trabajos previos, esta formulación contabiliza explícitamente el compromiso (trade-off) entre el rendimiento multiobjetivo y los costos heterogéneos de evaluación.

2. Metodología

El artículo propone dos algoritmos distintos adaptados a los dos objetivos de aprendizaje:

A. CoHV-UCB: Hypervolume UCB Consciente del Costo (Selección Online)

Para el problema de selección online, los autores proponen CoHV-UCB, un algoritmo basado en el principio de "optimismo ante la incertidumbre" (optimism-in-the-face-of-uncertainty).

• Mecanismo: El algoritmo construye un vector de recompensa optimista $\mathbf{U}_{i,t}$ para cada configuración utilizando límites de confianza superiores (upper confidence bounds). Luego computa un índice de hipervolumen por costo:
  $$I_{i,t} = \frac{HV(\mathbf{U}_{i,t})}{\underline{c}_{i,t}}$$
  donde $HV(\cdot)$ es el indicador de hipervolumen (que mide la calidad multiobjetivo) y $\underline{c}_{i,t}$ es un límite de confianza inferior de la recompensa esperada del costo de evaluación.
• Gestión del Costo: Para evitar que el índice se infle artificialmente por la subestimación de los costos, el algoritmo utiliza un límite de confianza inferior truncado para el denominador del costo, asegurando que permanezca acotado lejos de cero.
• Selección: En cada ronda, se selecciona la configuración con el índice más alto hasta que se agota el presupuesto.

B. CoPSI: Identificación de Conjunto de Pareto Consciente del Costo (Presupuesto Fijo)

Para el problema de identificación de presupuesto fijo, los autores proponen CoPSI, un algoritmo de rechazos sucesivos que asigna muestras basándose en los costos de las configuraciones.

• Mgnanismo: El algoritmo opera en fases. En cada fase, mantiene un conjunto activo de configuraciones y computa un objetivo de muestreo $n_r$ proporcional al inverso del costo total del conjunto activo.
• Eliminación Basada en Brechas (Gap-Based Elimination): Computa brechas empíricas de Pareto ($\hat{\gamma}_{i,r}$) para las configuraciones activas. Estas brechas miden la evidencia empírica de que una configuración es o bien dominada o bien óptima de Pareto.
• Estrategia: El algoritmo identifica la configuración con la mayor brecha de clasificación empírica y la elimina del conjunto activo (aceptándola como óptima de Pareto o rechazándola como dominada). Este proceso continúa hasta que solo queda una configuración, la cual se incluye en la salida final.
• Conciencia del Costo: El objetivo de muestreo en cada fase se ajusta explícitamente basándose en el costo agregado de las configuraciones activas restantes, asegurando que el presupuesto se utilice eficientemente.

3. Contribuciones Teóricas

El artículo establece garantías teóricas rigurosas para ambos algoritmos:

• Límite de Arrepentimiento para CoHV-UCB: Los autores demuestran que el arrepentimiento de eficiencia de hipervolumen está acotado por:
  $$O\left(\sum_{i \neq i^*} \frac{\log B}{\Delta_i}\right)$$
  donde $B$ es el presupuesto, $i^*$ es la configuración óptima en términos de eficiencia de hipervolumen, y $\Delta_i$ es la brecha de eficiencia. Este límite mantiene la dependencia logarítmica del presupuesto encontrada en los bandidos presupuestados clásicos de un solo objetivo.

• Probabilidad de Error para CoPSI: Para la identificación de presupuesto fijo, la probabilidad de identificar erróneamente el conjunto de Pareto está acotada por:
  $$O\left(\exp\left(-\frac{B}{H_{\mu,c}}\right)\right)$$
  donde $H_{\mu,c}$ es una medida de complejidad consciente del costo que depende de los costos de configuración y las brechas de clasificación de Pareto. Este resultado muestra que la probabilidad de error decae exponencialmente con el presupuesto y recupera las garantías estándar de identificación de conjuntos de Pareto cuando todos los costos son idénticos.

4. Resultados Experimentales

Los autores evalúan sus métodos en tareas de configuración de LLM utilizando los conjuntos de datos GSM8K y PIQA. Las configuraciones involucran varios modelos, temperaturas y estrategias de prompting, con objetivos que incluyen precisión e inversa normalizada de latencia.

• Selección Online: CoHV-UCB supera significativamente a los modelos de referencia (incluyendo HV-UCB insensible al costo y Accuracy-Cost-UCB de un solo objetivo). En el conjunto de datos PIQA, CoHV-UCB redujo el arrepentimiento de eficiencia de hipervolumen en un 83.2% en comparación con la asignación uniforme. Los resultados resaltan que tener en cuenta la dispersión del costo es crucial cuando la configuración que maximiza el rendimiento bruto difiere de la que maximiza la eficiencia.
• Identificación de Pareto: CoPSI demuestra un desempeño superior en la identificación del conjunto de Pareto en comparación con la asignación uniforme y los rechazos sucesivos insensibles al costo (PSI-SR). En GSM8K, CoPSI redujo la probabilidad de error de identificación en un 84.6% respecto a la asignación uniforme en el presupuesto más grande. Los experimentos confirman que el muestreo consciente del costo permite al algoritmo concentrar recursos en configuraciones ambiguas cerca de la frontera de Pareto.

5. Significancia y Reivindicaciones

El artículo afirma ser el primer estudio de bandidos multiobjetivo conscientes del costo. Su principal significancia radica en cerrar la brecha entre los marcos teóricos de bandidos y las restricciones prácticas de la evaluación de LLM, donde:

1. Los costos son heterogéneos: Los costos de evaluación varían significamente según el tamaño del modelo y las estrategias de prompting.
2. Los objetivos son multidimensionales: Los profesionales deben equilibrar simultáneamente la precisión, la latencia y la eficiencia.
3. Los presupuestos son limitados: La evaluación exhaustiva es computacional y financieramente prohibitiva.

Los autores sostienen que su marco permite una toma de decisiones online eficiente y una identificación de Pareto consciente del costo precisa. Al optimizar conjuntamente el rendimiento y el costo, los métodos propuestos permiten a los profesionales extraer más valor de los presupuestos de evaluación limitados, evitando las trampas de las estrategias que ignoran las variaciones de costo o se centran en un solo objetivo. El trabajo proporciona una base principled para la evaluación adaptativa de LLM, moviéndose más allá del benchmarking estático hacia la optimización de múltiples criterios eficiente en recursos.