Multimodal LLM-assisted Evolutionary Search for Programmatic Control Policies

Este artigo apresenta o MLES, uma abordagem inovadora que combina modelos de linguagem grandes multimodais com busca evolutiva e análise visual de falhas para descobrir políticas de controle programáticas transparentes e verificáveis, alcançando desempenho comparável ao PPO em tarefas de controle padrão.

O essencial

Imagine que você precisa ensinar um robô a pilotar um carro de corrida ou a pousar uma nave lunar. Até hoje, a maneira mais comum de fazer isso era como se você estivesse treinando um gênio invisível: você deixava o robô tentar milhões de vezes, errando e acertando, até que ele aprendesse. O problema? Quando o robô finalmente aprendia, ele se tornava uma "caixa preta". Ninguém sabia como ele pensava, apenas que ele funcionava. Se ele cometesse um erro fatal, ninguém conseguia entender o porquê ou consertá-lo facilmente.

Este novo artigo, apresentado na conferência ICLR 2026, apresenta uma solução brilhante chamada MLES (Busca Evolutiva Assistida por Modelos de Linguagem Multimodais).

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Caixa Preta vs. O Manual de Instruções

• O jeito antigo (Aprendizado por Reforço Profundo): É como treinar um cachorro apenas com petiscos. O cachorro aprende a sentar porque ganha um biscoito, mas se você perguntar "por que você sentou?", ele não sabe explicar. Se o cachorro começar a latir para o vizinho em vez de sentar, você não sabe como corrigir a lógica dele, apenas tenta mais petiscos.
• O jeito novo (MLES): Em vez de treinar um cérebro invisível, o MLES escreve um manual de instruções (um código de computador legível) para o robô. É como se, em vez de um cachorro, você tivesse um piloto humano que segue um roteiro escrito em português. Se o piloto errar, você lê o roteiro, vê onde está o erro e o corrige.

2. A Solução: O "Chef de Cozinha" e o "Mestre de Sabores"

O MLES funciona como uma cozinha de alta tecnologia com dois chefs principais trabalhando juntos:

• O Chef Criativo (O Modelo de Linguagem - LLM): Imagine um chef genial que sabe cozinhar de tudo. Ele recebe uma receita básica e diz: "Vamos tentar algo novo!". Ele escreve o código (a receita) para o robô.
• O Mestre de Sabores (O Analista Visual - MLLM): Aqui está a mágica. Quando o robô tenta a nova receita e falha (por exemplo, o carro bate na parede), o MLES não olha apenas para o placar (pontuação). Ele assiste ao vídeo do acidente.
  • O "Mestre de Sabores" analisa o vídeo e diz ao Chef: "Olhe, o carro virou muito rápido na curva porque estava rápido demais. A receita diz para acelerar, mas o vídeo mostra que isso causou a batida."
  • O Chef, agora com essa informação visual, reescreve a receita: "Ok, na próxima vez, se o carro estiver rápido, reduza a aceleração antes de virar."

3. O Processo: Evolução com "Olhos"

O sistema funciona em um ciclo contínuo, como a evolução das espécies, mas acelerada por inteligência artificial:

1. Nasce uma ideia: O Chef cria uma nova estratégia de pilotagem (código).
2. Teste: O robô tenta pilotar.
3. Análise Visual: Se der errado, o sistema grava o que aconteceu e mostra para o "Mestre de Sabores" (a IA multimodal).
4. Correção Direcionada: O Mestre analisa o vídeo, identifica o erro exato (ex: "freou tarde demais") e manda o Chef corrigir especificamente esse ponto na próxima receita.
5. Repetição: Isso acontece milhares de vezes. A cada rodada, as "receitas" (políticas) ficam mais inteligentes, mais seguras e mais parecidas com o que um humano faria.

4. Por que isso é revolucionário?

• Transparência Total: Você pode ler o código final. Ele é escrito em linguagem de programação comum, com comentários explicando a lógica. É como ler um livro de instruções, não decifrar um código alienígena.
• Segurança: Como podemos ver como o robô pensa, podemos garantir que ele não fará coisas perigosas. Se um carro autônomo for pilotado por esse sistema, os engenheiros podem ler o código e garantir que ele freará antes de um pedestre.
• Eficiência: O sistema aprende mais rápido porque não está apenas chutando números. Ele está "vendo" os erros e corrigindo a lógica, assim como um professor humano faria com um aluno.

Resumo em uma frase

O MLES é como ter um tutor particular de IA que não apenas treina robôs, mas escreve o manual de instruções deles, assiste aos vídeos dos erros, explica o que deu errado e reescreve o manual até que o robô se torne um piloto perfeito, seguro e totalmente compreensível para os humanos.

Isso abre portas para usarmos robôs em lugares onde a segurança é crítica, como hospitais, estradas e indústrias, porque finalmente podemos confiar neles e entender o que eles estão fazendo.

Resumo técnico

1. O Problema

O Aprendizado por Reforço Profundo (DRL) alcançou sucesso notável em tarefas de controle, mas suas políticas são representadas por redes neurais opacas ("caixas-pretas"). Isso gera três desafios principais:

1. Falta de Transparência: É difícil entender, verificar e depurar como a política toma decisões, o que mina a confiança em aplicações críticas (ex: direção autônoma, saúde).
2. Dificuldade de Análise e Reuso: O processo de aprendizado baseado em gradientes em espaços de parâmetros de alta dimensão torna difícil analisar, intervir ou reutilizar o conhecimento aprendido.
3. Limitações de Abordagens Existentes: Métodos que buscam políticas legíveis por humanos (como programação genética) muitas vezes dependem de linguagens específicas de domínio (DSLs) pré-definidas e estáticas, limitando sua expressividade e escalabilidade.

O objetivo é descobrir políticas de controle de alto desempenho que sejam transparentes, verificáveis e legíveis por humanos, sem sacrificar a eficiência.

2. Metodologia: MLES

Os autores propõem o MLES (Multimodal LLM-assisted Evolutionary Search), um novo paradigma que combina Modelos de Linguagem Grandes Multimodais (MLLMs) com Busca Evolutiva (EC) para descobrir políticas programáticas diretamente.

Arquitetura e Componentes Principais

O MLES opera em um loop evolutivo fechado com os seguintes componentes:

• Pool de Políticas: Um repositório dinâmico de políticas candidatas, onde cada indivíduo é um tupla contendo:
  • Código: Um programa Python executável que define a lógica de decisão.
  • Pensamento (Thought): Um resumo em linguagem natural que explica a intenção e a estratégia do código.
  • Métricas Quantitativas: Desempenho numérico (ex: recompensa da episódia).
  • Evidência Comportamental (BE): Dados visuais ou sequenciais que mostram como a política agiu (ex: vídeos, sobreposições de trajetória), não apenas quão bem ela agiu.
• Seleção de Pais: Políticas de alto desempenho são selecionadas para gerar descendentes.
• Amostrador de Prompts (Prompt Sampler): Constrói prompts "few-shot" multimodais que incluem a descrição da tarefa, o código/pensamento dos pais e a Evidência Comportamental (BE).
• Ensemble de MLLMs: Os modelos de linguagem (ex: GPT-4o-mini, GPT-5-mini) atuam como operadores de mutação e cruzamento. Eles analisam o prompt multimodal, diagnosticam falhas com base na BE e geram novas políticas programáticas.

Inovação Chave: Análise Comportamental Guiada por Feedback Visual

Diferente de métodos anteriores que usam apenas métricas escalares (recompensa), o MLES integra a análise de evidência comportamental no processo de geração.

• O MLLM não apenas vê a pontuação final, mas analisa imagens/vídeos da execução (ex: um lander lunar caindo de lado ou um carro saindo da pista).
• Isso permite que o MLLM identifique padrões de falha específicos (ex: "freio muito tarde", "correção excessiva") e proponha correções direcionadas no código, transformando a busca de "tentativa e erro" estocástica em um processo de refinamento diagnóstico.

Operadores Evolutivos

O framework utiliza operadores adaptados do EoH (Evolution of Heuristics):

• Exploração (E1, E2): Geram novas estratégias baseadas na lógica dos pais ou generalizam padrões comuns.
• Modificação Multimodal (M1_M, M2_M): Usam a BE para refinar políticas existentes. O MLLM identifica lacunas no comportamento e ajusta a lógica ou parâmetros especificamente para corrigir essas falhas.

3. Contribuições Principais

1. Framework MLES Geral: Uma nova abordagem para descoberta end-to-end de políticas programáticas, onde o MLLM gera o código diretamente através da interação com o ambiente, superando a necessidade de DSLs fixas.
2. Integração de Feedback Visual: A introdução da análise de Evidência Comportamental (BE) guiada por MLLMs, que permite um refinamento de políticas baseado em diagnósticos visuais, aumentando drasticamente a eficiência da busca.
3. Desempenho e Transparência: Demonstração experimental de que o MLES atinge desempenho comparável a métodos DRL fortes (como PPO) em benchmarks complexos, enquanto produz políticas totalmente legíveis e com processos de design rastreáveis.

4. Resultados Experimentais

Os autores avaliaram o MLES em dois benchmarks do OpenAI Gym: Lunar Lander (controle discreto) e Car Racing (controle contínuo com entrada de imagem).

• Desempenho:
  • No Lunar Lander, o MLES obteve a melhor pontuação de treinamento (1.090), superando PPO (1.032) e DQN.
  • No Car Racing, o MLES alcançou 98.07 (treinamento) e 96.35 (teste), performance comparável ao PPO (99.21/94.54) e significativamente superior ao EoH (sem análise visual).
• Eficiência de Busca:
  • O MLES convergiu mais rápido que o PPO e o DQN. No Car Racing, atingiu o limiar de desempenho em 3h16min, quase 4 vezes mais rápido que o PPO (12h).
  • A análise de ablação mostrou que remover os operadores de modificação multimodal (que usam BE) causou uma queda drástica de desempenho (até 42% no Lunar Lander), provando que o feedback visual é o motor principal da eficiência.
• Generalização e Robustez:
  • O MLES demonstrou capacidade de "cold-start" (começar do zero) e também de aproveitar conhecimento prévio (inicialização com políticas simples).
  • A diversidade da população gerada permite a criação de ensembles que melhoram a generalização em testes não vistos.
• Legibilidade:
  • Políticas geradas foram revisadas por estudantes de pós-graduação, que confirmaram a compreensão da lógica e a utilidade dos comentários gerados pelo MLLM.

5. Significado e Impacto

O MLES representa uma mudança de paradigma no desenvolvimento de políticas de controle:

• Confiança e Verificabilidade: Ao substituir redes neurais opacas por código executável com explicações naturais, o MLES torna os sistemas de IA auditáveis e seguros para aplicações críticas.
• Transferência de Conhecimento: Políticas baseadas em código são mais fáceis de transferir, reutilizar e adaptar para novos cenários do que pesos de redes neurais.
• Escalabilidade com IA: O framework aproveita o avanço contínuo dos MLLMs; à medida que os modelos de linguagem ficam melhores em raciocínio visual e geração de código, o MLES se torna automaticamente mais eficiente e capaz.
• Custo-Benefício: Apesar do custo de inferência de LLMs, o custo financeiro total para resolver tarefas complexas (ex: ~$0.42 para Car Racing) é baixo comparado ao custo de desenvolvimento manual ou à impossibilidade de obter transparência com DRL tradicional.

Em resumo, o MLES demonstra que é possível combinar a alta performance do aprendizado por reforço com a transparência e a interpretabilidade da programação clássica, utilizando a inteligência multimodal para guiar a evolução de algoritmos de controle.