Resumo Técnico: LILO: Otimização Bayesiana com Feedback em Linguagem Natural

1. Definição do Problema

O artigo aborda o desafio de otimizar funções de caixa-preta custosas de avaliar, onde o objetivo verdadeiro não é um escalar diretamente mensurável, mas sim uma preferência complexa e subjetiva de um Tomador de Decisão (DM). Em muitos cenários do mundo real, a função de utilidade $g(y)$ que mapeia resultados $y$ para uma pontuação de satisfação é desconhecida e difícil de expressar em forma fechada.

Métodos tradicionais de Otimização Bayesiana Baseada em Preferências (PBO) dependem de feedback estruturado, como comparações pareadas ou classificações escalares. No entanto, esses formatos são frequentemente restritivos, falhando em capturar objetivos de alto nível, compensações e restrições qualitativas que os tomadores de decisão expressam naturalmente em linguagem natural. Por outro lado, o uso de Modelos de Linguagem de Grande Escala (LLMs) como otimizadores de ponta a ponta frequentemente carece de incerteza calibrada e de compensações principiais entre exploração e exploração, levando a uma baixa eficiência de amostragem.

O objetivo é resolver o problema de otimização composto:
$$x^* := \arg \max_{x \in X} g(f(x))$$
onde $f: X \to Y$ é o sistema de caixa-preta e $g: Y \to \mathbb{R}$ é a função de utilidade latente, utilizando feedback em linguagem natural livre do DM para guiar a busca.

2. Metodologia: Framework LILO

Os autores propõem a Otimização com Linguagem no Loop (LILO), um framework híbrido que integra a expressividade dos LLMs com a confiabilidade da Otimização Bayesiana baseada em Processos Gaussianos (GP). O LILO posiciona o LLM como um agente de suporte para a interpretação de feedback, e não como o otimizador em si.

Fluxo de Trabalho Principal

A otimização prossegue em $T$ tentativas sequenciais, cada uma consistindo em três etapas:

1. Geração de Candidatos e Experimentação:

   • Um lote de entradas candidatas $\{x_i\}$ é selecionado.
   • Para a primeira tentativa ($n=1$), os candidatos são amostrados uniformemente ou gerados via prompt do LLM se conhecimento prévio for fornecido.
   • Para tentativas subsequentes, uma função de aquisição de lote (por exemplo, Log Noisy Expected Improvement) seleciona candidatos com base no modelo proxy GP atual $M_{n-1}$.
   • A função de caixa-preta $f$ é avaliada para produzir resultados observáveis $y_i = f(x_i)$.

2. Aquisição de Feedback:

   • O agente LILO gera um lote de perguntas ($B_{pf}$) para o DM com base nos dados experimentais acumulados e no feedback anterior.
   • O DM fornece respostas em linguagem natural livre ($a_j$).
   • Este feedback é armazenado em um conjunto de dados de feedback de preferência $D_{pf}$.

3. Estimação de Utilidade via Rotulagem por LLM + Modelagem GP:

   • Rotulagem: O LLM atua como um intérprete, convertendo o feedback em linguagem natural acumulado em rótulos de preferência pareada estruturados entre os resultados observados. Dado um par de resultados $(y, y')$, o LLM determina qual é preferido com base no feedback textual do DM.
   • Orçamento: Para gerenciar os custos do LLM, a rotulagem é realizada sob um orçamento $K$. O artigo propõe uma estratégia sequencial usando a função de aquisição qEUBO (Utilidade Esperada da Melhor Opção) para selecionar os pares mais informativos para rotulagem, em vez de amostragem aleatória.
   • Modelagem: As preferências pareadas rotuladas são usadas para ajustar um modelo substituto de Processo Gaussiano Pareado (GP) $M_n$ sobre o espaço de entrada $X$. Este modelo aproxima a utilidade composta $u(x) = g(f(x))$.
   • O modelo GP fornece uma distribuição posterior sobre a utilidade com incerteza calibrada, o que impulsiona a próxima rodada de seleção de candidatos.

Incorporação de Conhecimento Prévio

O LILO suporta "inicialização a quente" incorporando conhecimento prévio textual ($P_{prior}$). Em vez de inicialização aleatória, o LLM é instruído a gerar pontos candidatos iniciais com base na expertise de domínio do DM (por exemplo, "entradas dentro dessas faixas devem trazer bons resultados"), aproveitando o conhecimento de domínio pré-treinado do LLM.

3. Principais Contribuições

O artigo delineia cinco contribuições primárias:

1. Framework LILO: Um framework BO novel que elicita informações de utilidade via linguagem natural livre, oferecendo uma interface mais expressiva do que o feedback pareado ou escalar padrão.
2. Mecanismo de Estimação de Utilidade: Uma abordagem escalável que combina rotulagem de preferência baseada em LLM com modelagem GP, permitindo incerteza calibrada e exploração principial sob feedback indireto e ruidoso.
3. Superioridade de Desempenho: Evidência empírica mostrando que o LILO supera tanto as bases PBO convencionais (que dependem de feedback quantitativo) quanto otimizadores baseados apenas em LLMs em benchmarks sintéticos e do mundo real.
4. Integração de Conhecimento Prévio: Um método para incorporar priores textuais para inicialização a quente da otimização, melhorando significativamente o desempenho nas etapas iniciais.
5. Compatibilidade com Resultados Não Estruturados: Demonstração de que o LILO pode otimizar sobre resultados de alta dimensão e não estruturados (por exemplo, resumos de texto) sem exigir um modelo substituto explícito sobre o espaço de resultados $Y$, confiando, em vez disso, na capacidade do LLM de interpretar resultados.

4. Resultados Experimentais

Os autores avaliaram o LILO em 10 ambientes, incluindo funções multi-objetivo sintéticas (DTLZ2), simuladores de segurança veicular, design de cabine de carro, modelos de conforto térmico e busca de arquitetura neural (NAS-Bench-201). Eles também testaram uma tarefa de resumo de texto com resultados textuais não estruturados.

Principais Descobertas

• Eficiência de Amostragem: O LILO supera consistentemente as bases, particularmente nas etapas iniciais da otimização. Em regimes limitados por feedback, uma única mensagem em linguagem natural do DM foi encontrada ser aproximadamente equivalente a 8–16 comparações pareadas ou avaliações escalares em termos de progresso de otimização.
• Comparação com Bases:
  • vs. Apenas LLM: Métodos baseados apenas em LLM (diretos ou de 2 etapas) frequentemente estagnam ou falham em melhorar significativamente à medida que as iterações aumentam, carecendo de garantias de convergência do BO.
  • vs. BO Quantitativo: O LILO supera o "True Utility BO" e o "Preference BO" (que usam rótulos escalares ou pareados de verdade) nas primeiras tentativas. A vantagem diminui à medida que o número de tentativas aumenta, mas a densidade de informação da linguagem natural fornece um início significativo.
• Rotulagem Pareada vs. Escalar: O estudo descobriu que instruir o LLM para comparações pareadas produz estimativas de utilidade mais confiáveis e melhor progresso de otimização do que instruir para valores de utilidade escalar direta.
• Conhecimento Prévio: Incorporar priores de domínio via inicialização do LLM melhorou substancialmente o ponto de partida e o desempenho geral.
• Resultados Não Estruturados: No benchmark de resumo de texto, o LILO otimizou com sucesso parâmetros de decodificação usando feedback em linguagem natural, igualando o desempenho das bases com feedback máximo de oráculo.

5. Significado e Alegações

O artigo afirma que o LILO representa um passo significativo para frente em tornar a Otimização Bayesiana acessível para problemas com objetivos complexos e subjetivos. Ao colocar o LLM em um papel de suporte para traduzir linguagem rica e não estruturada em sinais de preferência estruturados, o framework preserva a eficiência de amostragem, estabilidade e incerteza calibrada do BO tradicional, enquanto oferece um canal de feedback flexível e denso em informações.

Os autores enfatizam que o LILO é particularmente adequado para cenários do mundo real com compensações multi-métricas complexas (por exemplo, experimentação online, otimização de design) onde objetivos explícitos estão indisponíveis ou difíceis de formalizar. Eles reconhecem que, embora o LILO se destaque em regimes limitados por feedback, seu desempenho em relação às bases quantitativas pode convergir ao longo de horizontes muito longos, e trabalhos futuros poderiam explorar abordagens híbridas combinando linguagem não estruturada com feedback quantitativo estruturado.

O código para reproduzir os resultados está disponível em https://github.com/facebookresearch/lilo.