Resumen Técnico: QUIVER – Consulta Adaptativa de Preferencias Consciente de Costos

1. Declaración del Problema

Los sistemas interactivos de Optimización Multiobjetivo (MOO) enfrentan un dilema fundamental de asignación de recursos. Dado un presupuesto fijo, un optimizador debe decidir cómo distribuir los recursos entre evaluaciones de objetivos (costosas, por ejemplo, simulaciones físicas) y elicitación de preferencias (identificación de la región preferida por el tomador de decisiones (DM) dentro del conjunto de Pareto).

Este problema se ve agravado por la heterogeneidad de las modalidades de consulta de preferencias:

• Preferencias Pareadas (PS): "¿Prefieres A o B?". Estas son cognitivamente baratas pero proporcionan solo información ordinal (1 bit).
• Ajustes de Indiferencia (IA): "¿Cuánto debes ajustar el objetivo $k$ para que A y B sean igualmente preferidos?". Estas son cognitivamente más exigentes pero revelan información cardinal de compensación (tasas marginales de sustitución).

Los métodos existentes suelen fijar el protocolo de consulta (por ejemplo, comparaciones pareadas periódicas) o tratar al DM como un selector a posteriori. Existe una falta de marcos que asignen adaptativamente un presupuesto unificado entre evaluaciones de objetivos y consultas de preferencias heterogéneas basándose en su Valor de la Información (VOI) por unidad de costo relativa.

2. Metodología: El Marco QUIVER

Los autores proponen QUIVER (Estimación de Valor Informada por Consultas para Arrepentimiento), un optimizador evolutivo multiobjetivo asistido por sustitutos. El sistema acopla una capa de búsqueda NSGA-II con un controlador consciente de costos que selecciona dinámicamente acciones de un espacio unificado: $\{ \text{Eval}, \text{PS}, \text{IA} \}$.

2.1 Componentes Principales

• Capa de Búsqueda: Utiliza NSGA-II para mantener una población de soluciones candidatas y un archivo de puntos evaluados. Emplea un posterior de filtro de partículas para representar la distribución de los pesos de preferencia latentes $w$.
• Modelado de Preferencias:
  • Asume una utilidad de escalarización lineal $u(f; w) = w^\top f$.
  • Verosimilitud PS: Modelada mediante una función logística (estilo Bradley-Terry) con ruido.
  • Verosimilitud IA: Modelada como una distribución Gaussiana donde el DM reporta un ajuste $\tilde{\delta}$ para igualar la utilidad. Esto proporciona información cardinal sobre el vector de pesos.
  • Inferencia: Utiliza Monte Carlo Secuencial (SMC) con un filtro de partículas para actualizar el posterior $p(w | \mathcal{D}_{pref})$ basado en las observaciones.
• Selección de Acciones Consciente de Costos:
  En cada paso, el controlador selecciona la acción $a$ que maximiza la mejora esperada en la calidad de la decisión por unidad de costo:
  $$a^* = \arg \max_{a} \frac{\mathbb{E}[\Delta Q \mid a, \mathcal{H}_t]}{c(a)}$$
  Donde:
  • $c(a)$ es el costo de la acción ($c_{eval} \gg c_{IA} > c_{PS}$).
  • $\Delta Q$ es la mejora esperada en la calidad de la decisión.
    • Para Consultas de Preferencias (PS/IA): $\Delta Q$ es la reducción de entropía esperada (Ganancia de Información) en el posterior de preferencias.
    • Para Evaluaciones: $\Delta Q$ es el Valor de la Clarividencia (VOC), que representa la mejora esperada en la utilidad esperada posterior del mejor candidato.
  • Estimación: La Ganancia de Información Esperada (EIG) se estima mediante simulación Monte Carlo. Para garantizar una comparación justa entre respuestas continuas de IA y respuestas binarias de PS, los resultados de IA se discretizan en intervalos antes de calcular la información mutua.

2.2 Estrategia de Selección de Consultas

• Selección de Pares: Para consultas de preferencias, los pares se seleccionan basándose en el desacuerdo posterior (maximizando la probabilidad de que el DM esté indiferente, es decir, $p \approx 0.5$).
• Selección de Dimensión (para IA): La dimensión del objetivo $k$ se selecciona para maximizar la varianza posterior del peso correspondiente $w_k$.

3. Contribuciones Clave

1. Formalización: Definición de MOO interactivo consciente de costos bajo una escalarización lineal desconocida, tratando las evaluaciones de objetivos y las consultas de preferencias heterogéneas (PS e IA) como un espacio de acciones presupuestado unificado.
2. Regla de Selección Basada en VOI: Derivación de una regla práctica de selección de acciones utilizando la estimación Monte Carlo de la reducción de entropía esperada, unificando la exploración de objetivos y el aprendizaje de preferencias bajo un único criterio.
3. Implementación del Algoritmo: Propuesta de QUIVER, un algoritmo evolutivo con una columna vertebral NSGA-II que implementa esta política adaptativa mediante un posterior de preferencias de filtro de partículas.
4. Validación Empírica: Demostración de que la selección adaptativa de modalidades produce un menor arrepentimiento de utilidad por unidad de costo en comparación con líneas base de calendario fijo y modalidad única.

4. Resultados Experimentales

El marco se evaluó en los benchmarks DTLZ y WFG con tomadores de decisiones sintéticos.

• Rendimiento en Problemas Fáciles (DTLZ2): Todos los métodos, incluidos "Solo Eval" y "Solo PS", lograron un arrepentimiento cercano a cero. QUIVER seleccionó predominantemente consultas PS baratas (aproximadamente 80–87% de las consultas de preferencias), ya que el problema era resoluble con menos información.
• Rendimiento en Problemas Difíciles (WFG4, WFG9):
  • QUIVER logró el menor arrepentimiento de utilidad, superando a todas las líneas base.
  • En WFG9 (el más desafiante), QUIVER logró un arrepentimiento de 2.82, una mejora del 25% sobre la mejor línea base (3.77–3.90).
  • Cambio Adaptativo: En problemas difíciles, QUIVER modificó su estrategia, aumentando la fracción de consultas IA al 35% (en comparación con el 20% en problemas fáciles). Esto demuestra la capacidad del sistema para reconocer cuándo el mayor contenido de información de IA justifica su costo adicional.
• Sensibilidad al Costo: Cuando el costo relativo de IA ($c_{IA}/c_{PS}$) aumentó, el sistema redujo automáticamente el uso de IA, confirmando la naturaleza consciente de costos del controlador.
• Régimen de Fatiga: En un escenario de costo dinámico donde los costos de IA aumentaban con el uso (simulando fatiga cognitiva), QUIVER redujo adaptativamente el uso de IA y desplazó el presupuesto hacia evaluaciones, mostrando una degradación gradual del rendimiento en lugar de un fallo catastrófico.

5. Significado y Afirmaciones

Los autores afirman que el significado principal de QUIVER radica en su selección adaptativa de modalidades. Al tratar $\{ \text{Eval}, \text{PS}, \text{IA} \}$ como un espacio de acciones unificado, el sistema puede asignar recursos dinámicamente basándose en la dificultad del problema y el intercambio evolutivo entre costo e información.

• Insight Teórico: Los autores establecen un umbral de cambio de modalidad: IA se selecciona sobre PS solo cuando la relación de sus ganancias de información excede la relación de sus costos ($IG_{IA}/IG_{PS} > c_{IA}/c_{PS}$).
• Impacto Práctico: El marco demuestra que para problemas de optimización desafiantes, las estrategias rígidas (calendarios fijos o modalidades únicas) son subóptimas. En cambio, un enfoque de VOI normalizado por costos permite al optimizador "gastar" más en consultas ricas y costosas solo cuando la incertidumbre es lo suficientemente alta para justificarlo.
• Generalizabilidad: El controlador es agnóstico al optimizador. Aunque se instanció con NSGA-II, el principio de VOI por costo puede aplicarse a otros backends (por ejemplo, Optimización Bayesiana, Búsqueda Aleatoria) siempre que puedan generar candidatos y mantener un posterior de preferencias.

Los autores se mantienen modestos respecto a las limitaciones, señalando que el marco actual asume una utilidad lineal (lo cual podría tener dificultades con frentes de Pareto no convexos) y DMs sintéticos. Identifican la extensión a modelos de utilidad no lineal y la validación con tomadores de decisiones humanos reales (teniendo en cuenta patrones complejos de fatiga e inconsistencia) como trabajo futuro necesario.