Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs

Título: Otimização de Prompt Multimodal: Por Que Não Aproveitar Múltiplas Modalidades para MLLMs?

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) e suas expansões multimodais (MLLMs) demonstraram capacidades notáveis ao processar texto, imagens, vídeos e até moléculas. No entanto, o campo de Otimização Automática de Prompt (APO) permanece restrito ao domínio textual.

• Limitação Atual: Os métodos existentes de APO otimizam apenas prompts de texto, ignorando a capacidade expressiva rica das entradas não textuais (multimodais). Isso limita o potencial dos MLLMs, pois certas informações (como características visuais distintas de uma ave) podem ser transmitidas de forma mais direta e precisa por uma imagem do que por longas descrições textuais ambíguas.
• Definição do Problema: Os autores definem um novo problema: Otimização de Prompt Multimodal, onde o prompt é definido como um par $(t, m)$, consistindo em um prompt textual ($t$) e um prompt não textual ($m$). O objetivo é encontrar o par ótimo que maximize o desempenho em tarefas específicas, explorando o espaço de busca combinatório $T \times M$.

2. Metodologia: Otimizador de Prompt Multimodal (MPO)

Para resolver os desafios de explorar um espaço de busca maior e garantir a consistência entre modalidades, os autores propõem o MPO (Multimodal Prompt Optimizer), um framework unificado composto por dois componentes principais:

A. Exploração com Preservação de Alinhamento (Alignment-Preserving Exploration)
O desafio aqui é atualizar o texto e a imagem (ou outra modalidade) de forma coerente, evitando que uma modalidade contradiga a outra.

• Retropropagação Coesa (Cohesive Backpropagation): O sistema identifica um conjunto de falhas (onde o modelo errou) e gera um feedback unificado em texto que captura as fraquezas em ambas as modalidades.
• Atualização Multimodal Conjunta: Com base nesse feedback, o MLLM gera:
  1. Um prompt textual atualizado ($t'$).
  2. Uma condição textual ($c$) que instrui como o prompt não textual deve ser revisado.
• Operadores de Exploração: Para garantir uma busca diversificada no espaço multimodal, três operadores são aplicados para gerar novos prompts não textuais ($m'$):
  1. Geração: Cria um prompt não textual do zero baseado na condição, explorando regiões não mapeadas.
  2. Edição: Refina um prompt existente (ex: ajustar texturas ou detalhes) mantendo a estrutura anterior.
  3. Mistura (Mix): Combina as forças complementares de múltiplos prompts candidatos para criar uma composição balanceada.

B. Seleção Baseada em Bayesiano UCB Herdado de Priori (Prior-Inherited Bayesian UCB)
O desafio é selecionar os melhores candidatos em um espaço vasto onde prompts de alta qualidade são esparsos, evitando desperdício de orçamento de avaliação.

• Hipótese de Correlação: Os autores demonstram empiricamente que há uma forte correlação positiva (Pearson $r=0.88$) entre a pontuação de um prompt "pai" e a média de seus prompts "filhos".
• Mecanismo de Seleção: Em vez de tratar novos candidatos como "braços" independentes com priores não informativos (como no UCB padrão), o MPO inicializa a distribuição de pontuação de um prompt filho baseada no desempenho do pai.
  • Utiliza uma distribuição Beta onde os parâmetros $\alpha$ e $\beta$ são inicializados com pseudo-contagens derivadas da média de desempenho do pai.
  • Isso permite um "warm-start" (início quente), reduzindo drasticamente a necessidade de avaliações iniciais ineficientes e acelerando a convergência para prompts de alto desempenho.

3. Contribuições Principais

1. Novo Problema: Definição formal e introdução da Otimização de Prompt Multimodal, expandindo o escopo da APO além do texto.
2. Framework Unificado (MPO): Proposta de um sistema que realiza a atualização conjunta de texto e não-texto, garantindo alinhamento semântico através de feedbacks unificados e operadores específicos.
3. Estratégia de Seleção Eficiente: Desenvolvimento de uma estratégia de seleção baseada em UCB Bayesiano que herda informações do pai, resolvendo o problema de "cold-start" e economizando recursos computacionais.
4. Validação Abrangente: Demonstração experimental em 10 conjuntos de dados cobrindo três modalidades distintas: Imagens (classificação de plantas, aves, VQA médica), Vídeos (reconhecimento de ações, detecção de anomalias) e Moléculas (predição de propriedades farmacológicas).

4. Resultados Experimentais

Os experimentos compararam o MPO contra métodos manuais (Few-shot, CoT) e otimizadores de texto de ponta (APE, OPRO, EvoPrompt, SEE, ProTeGi).

• Desempenho Superior: O MPO superou consistentemente todas as linhas de base em todas as modalidades.
  • Em tarefas de imagem (ex: PlantVillage, CUB), o MPO alcançou ganhos significativos de acurácia (ex: 76.4% vs 69.0% do SEE no PlantVillage).
  • Em tarefas moleculares, o MPO obteve os melhores resultados em F1-score e acurácia.
• Eficiência: A estratégia de seleção com prior herdada reduziu o orçamento de avaliação necessário em 42% em comparação com uma linha de base sem prior, alcançando o mesmo nível de desempenho com menos iterações.
• Análise de Componentes:
  • A ablação mostrou que a combinação de texto e imagem gera um desempenho superior à soma das partes, indicando sinergia.
  • A visualização de estados ocultos (via PCA) revelou que prompts multimodais otimizam o MLLM para operar em um espaço semântico distinto e mais rico do que prompts puramente textuais.
  • A análise de alinhamento (DSG) confirmou que a preservação do alinhamento entre modalidades é diretamente correlacionada com o ganho de desempenho.

5. Significado e Conclusão

O trabalho estabelece que a otimização de prompts não deve ser limitada ao texto, mesmo para modelos multimodais. Ao expandir o espaço de busca para incluir componentes não textuais (imagens, vídeos, estruturas moleculares) e otimizá-los conjuntamente com o texto, é possível desbloquear capacidades latentes dos MLLMs que permanecem inacessíveis com abordagens unimodais.
O MPO demonstra que a consistência cruzada (alinhamento entre texto e imagem) e a exploração eficiente (via priores herdados) são chaves para superar os limites de otimização atuais. Este estudo abre caminho para uma nova geração de sistemas de IA que utilizam prompts multimodais dinâmicos para resolver problemas complexos do mundo real em medicina, biologia e visão computacional.