Resumo Técnico: QUIVER – Consulta Adaptativa de Preferência Consciente de Custos

1. Declaração do Problema

Sistemas de Otimização Multiobjetivo Interativa (MOO) enfrentam um dilema fundamental de alocação de recursos. Dado um orçamento fixo, um otimizador deve decidir como distribuir recursos entre avaliações de objetivos (caras, e.g., simulações físicas) e elicitação de preferências (identificação da região preferida pelo tomador de decisão (DM) no conjunto de Pareto).

Este problema é agravado pela heterogeneidade das modalidades de consulta de preferência:

• Preferências Pareadas (PS): "Você prefere A ou B?" Estas são cognitivamente baratas, mas fornecem apenas informação ordinal (1 bit).
• Ajustes de Indiferença (IA): "Quanto você deve ajustar o objetivo $k$ para tornar A e B igualmente preferidos?" Estas são cognitivamente mais exigentes, mas revelam informação cardinal sobre trade-offs (taxas marginais de substituição).

Métodos existentes tipicamente fixam o protocolo de consulta (e.g., comparações pareadas periódicas) ou tratam o DM como um selecionador a posteriori. Há uma falta de frameworks que alocam adaptativamente um orçamento unificado entre avaliações de objetivos e consultas de preferência heterogêneas com base no seu Valor da Informação (VOI) por unidade de custo relativo.

2. Metodologia: O Framework QUIVER

Os autores propõem o QUIVER (Estimativa de Valor Informada por Consulta para Arrependimento), um otimizador evolutivo multiobjetivo assistido por substituto. O sistema acopla uma camada de busca NSGA-II com um controlador consciente de custos que seleciona dinamicamente ações de um espaço unificado: $\{ \text{Aval}, \text{PS}, \text{IA} \}$.

2.1 Componentes Principais

• Camada de Busca: Utiliza NSGA-II para manter uma população de soluções candidatas e um arquivo de pontos avaliados. Emprega um filtro de partículas para representar a distribuição dos pesos de preferência latentes $w$.
• Modelagem de Preferência:
  • Assume uma utilidade de escalarização linear $u(f; w) = w^\top f$.
  • Verossimilhança PS: Modelada via uma função logística (estilo Bradley-Terry) com ruído.
  • Verossimilhança IA: Modelada como uma distribuição Gaussiana onde o DM reporta um ajuste $\tilde{\delta}$ para equalizar a utilidade. Isso fornece informação cardinal sobre o vetor de pesos.
  • Inferência: Utiliza Monte Carlo Sequencial (SMC) com um filtro de partículas para atualizar a posteriori $p(w | \mathcal{D}_{pref})$ com base nas observações.
• Seleção de Ação Consciente de Custos:
  Em cada passo, o controlador seleciona a ação $a$ que maximiza a melhoria esperada na qualidade da decisão por unidade de custo:
  $$a^* = \arg \max_{a} \frac{\mathbb{E}[\Delta Q \mid a, \mathcal{H}_t]}{c(a)}$$
  Onde:
  • $c(a)$ é o custo da ação ($c_{eval} \gg c_{IA} > c_{PS}$).
  • $\Delta Q$ é a melhoria esperada na qualidade da decisão.
    • Para Consultas de Preferência (PS/IA): $\Delta Q$ é a redução de entropia esperada (Ganho de Informação) na posteriori de preferência.
    • Para Avaliações: $\Delta Q$ é o Valor da Clarividência (VOC), representando a melhoria esperada na utilidade esperada a posteriori da melhor candidata.
  • Estimação: O Ganho de Informação Esperado (EIG) é estimado via simulação de Monte Carlo. Para garantir comparação justa entre respostas contínuas de IA e respostas binárias de PS, os resultados de IA são discretizados em bins antes de calcular a informação mútua.

2.2 Estratégia de Seleção de Consulta

• Seleção de Pares: Para consultas de preferência, pares são selecionados com base no desacordo da posteriori (maximizando a probabilidade de que o DM seja indiferente, ou seja, $p \approx 0.5$).
• Seleção de Dimensão (para IA): A dimensão do objetivo $k$ é selecionada para maximizar a variância da posteriori do peso correspondente $w_k$.

3. Contribuições Principais

1. Formalização: Definição de MOO interativa consciente de custos sob uma escalarização linear desconhecida, tratando avaliações de objetivos e consultas de preferência heterogêneas (PS e IA) como um espaço de ação orçado unificado.
2. Regra de Seleção Baseada em VOI: Derivação de uma regra prática de seleção de ação usando estimação de Monte Carlo da redução de entropia esperada, unificando exploração de objetivos e aprendizado de preferências sob um único critério.
3. Implementação do Algoritmo: Proposição do QUIVER, um algoritmo evolutivo com uma espinha dorsal NSGA-II que implementa esta política adaptativa via uma posteriori de preferência com filtro de partículas.
4. Validação Empírica: Demonstração de que a seleção adaptativa de modalidades produz menor arrependimento de utilidade por unidade de custo em comparação com linhas de base de cronograma fixo e de modalidade única.

4. Resultados Experimentais

O framework foi avaliado em benchmarks DTLZ e WFG com tomadores de decisão sintéticos.

• Desempenho em Problemas Fáceis (DTLZ2): Todos os métodos, incluindo "Apenas Aval" e "Apenas PS", alcançaram arrependimento próximo de zero. O QUIVER selecionou predominantemente consultas PS baratas (aproximadamente 80–87% das consultas de preferência), pois o problema era solucionável com menos informação.
• Desempenho em Problemas Difíceis (WFG4, WFG9):
  • O QUIVER alcançou o menor arrependimento de utilidade, superando todas as linhas de base.
  • No WFG9 (o mais desafiador), o QUIVER alcançou um arrependimento de 2.82, uma melhoria de 25% sobre a melhor linha de base (3.77–3.90).
  • Mudança Adaptativa: Em problemas difíceis, o QUIVER mudou sua estratégia, aumentando a fração de consultas IA para 35% (comparado a 20% em problemas fáceis). Isso demonstra a capacidade do sistema de reconhecer quando o maior conteúdo de informação da IA justifica seu custo extra.
• Sensibilidade a Custos: Quando o custo relativo da IA ($c_{IA}/c_{PS}$) foi aumentado, o sistema reduziu automaticamente o uso de IA, confirmando a natureza consciente de custos do controlador.
• Regime de Fadiga: Em um cenário de custo dinâmico onde os custos de IA aumentavam com o uso (simulando fadiga cognitiva), o QUIVER reduziu adaptativamente o uso de IA e deslocou o orçamento para avaliações, mostrando degradação graciosa no desempenho em vez de falha catastrófica.

5. Significado e Alegações

Os autores afirmam que o significado primário do QUIVER reside na sua seleção adaptativa de modalidades. Ao tratar $\{ \text{Aval}, \text{PS}, \text{IA} \}$ como um espaço de ação unificado, o sistema pode alocar recursos dinamicamente com base na dificuldade do problema e no trade-off custo-informação em evolução.

• Insight Teórico: Os autores estabelecem um limiar de troca de modalidades: IA é selecionada sobre PS apenas quando a razão de seus ganhos de informação excede a razão de seus custos ($IG_{IA}/IG_{PS} > c_{IA}/c_{PS}$).
• Impacto Prático: O framework demonstra que, para problemas de otimização desafiadores, estratégias rígidas (cronogramas fixos ou modalidades únicas) são subótimas. Em vez disso, uma abordagem de VOI normalizada por custo permite que o otimizador "gaste" mais em consultas ricas e caras apenas quando a incerteza é alta o suficiente para justificá-lo.
• Generalização: O controlador é agnóstico ao otimizador. Embora instanciado com NSGA-II, o princípio de VOI por custo pode ser aplicado a outros backends (e.g., Otimização Bayesiana, Busca Aleatória) desde que possam gerar candidatos e manter uma posteriori de preferência.

Os autores permanecem modestos quanto às limitações, observando que o framework atual assume utilidade linear (o que pode ter dificuldades com fronts de Pareto não convexos) e DMs sintéticos. Eles identificam a extensão para modelos de utilidade não linear e a validação com tomadores de decisão humanos reais (considerando padrões complexos de fadiga e inconsistência) como trabalho futuro necessário.