Resumo Técnico: MELLON - LLM Multimodal Aprimorado para Navegação Online

Declaração do Problema

Agentes de navegação web são projetados para executar tarefas em sites de forma autônoma com base em instruções de linguagem natural. Embora os basais atuais frequentemente utilizem Grandes Modelos de Linguagem (LLMs) para suas capacidades de raciocínio, eles operam predominantamente de uma maneira unimodal, dependendo exclusivamente de texto (HTML ou árvores de acessibilidade) e ignorando informações visuais. Os autores argumentam que esta é uma limitação crítica, particularmente em ambientes de e-commerce como o WebShop, onde pistas visuais (ex: acabamento do produto, cor, estilo) frequentemente contêm informações qualitativas ausentes nas descrições textuais. As abordagens multimodais existentes ou carecem de fortes capacidades de raciocínio ou lutam com a natureza dinâmica e restrita a ações da navegação web, onde desvios de um espaço de ação predefinido levam à falha da tarefa.

Metodologia

O artigo propõe três abordagens multimodais distintas para enfrentar esses desafios, com foco principal no MELLON (LLM Multimodal Aprimorado para Navegação Online).

1. MELLON (LLM Multimodal Aprimorado para Navegação Online)

O MELLON é um agente web projetado para integrar modalidades visuais e textuais para um raciocínio e planejamento aprimorados. Sua arquitetura consiste em três inovações principais:

• Melhores Codificadores: O modelo utiliza um backbone de Transformer de Visão (ViT) pré-treinado acoplado a um Q-Former para gerar codificações de imagem. Diferente das CNNs tradicionais (ex: ResNet), o ViT trata os patches de imagem como tokens, capturando relações espaciais de forma mais eficaz.
• Alinhamento Texto-Imagem e Treinamento Eficiente: Para reduzir a lacuna entre o codificador visual e o LLM, um único camada de projeção é empregada. Esta camada alinha os embeddings visuais com o espaço de entrada do LLM.
  • Estratégia de Treinamento: Os autores empregam uma abordagem de eficiência de parâmetros onde o LLM (CodeLlama) e o ViT são congelados. Apenas a camada de projeção e o Q-Former são treinados.
  • Função de Perda: O modelo é treinado usando uma perda de geração de entropia cruzada em pares de entradas multimodais e ações bem-sucedidas. A pontuação de conclusão do WebShop é integrada à função de perda para otimizar conjuntamente o raciocínio e o alinhamento de ação.
• Prompts ReAct Estendidos: O prompt ReAct (Raciocínio + Ação) padrão é redesenhado para incluir representações visuais alinhadas (inseridas via <ImageHere>). A engenharia de prompt foi fortemente otimizada para caber nas restrições de 24 GB de memória GPU, garantindo que o agente possa realizar raciocínio esparso e selecionar ações de um espaço válido ($A' = A \cap L$).

2. VQAgent

Esta abordagem reformula a tarefa do WebShop como um problema de Pergunta e Resposta Visual (VQA) de múltiplos saltos, onde as "respostas" correspondem a ações.

• Arquitetura: Utiliza o modelo BEiT3, um modelo de visão-linguagem de última geração.
• Adaptação: Diferente do VQA padrão (uma tarefa de geração), o WebShop é tratado como uma tarefa de classificação. O modelo codifica a observação (imagem, descrição do produto, instrução) e todas as ações possíveis separadamente usando o BEiT3. Esses embeddings são então processados através de uma camada de bi-atenção e uma camada linear para pontuar as ações.
• Treinamento: O modelo é treinado via Aprendizado por Imitação em trajetórias humanas para mimetizar a seleção correta de ações.

3. Ranker Multimodal

Este componente visa melhorar o comportamento exploratório ao avaliar sistematicamente todas as opções disponíveis antes de tomar uma decisão, em vez de selecionar apenas o primeiro resultado inicial.

• Mecanismo: Combina scores BERT (medindo a similaridade textual entre instruções e títulos de produtos) e scores CLIP (medindo a congruência imagem-texto).
• Treinamento: Um parâmetro aprendível equilibra essas duas dimensões, e o ranker é treinado usando a perda de Erro Quadrático Médio (MSE) contra a pontuação de conclusão do WebShop como um rótulo.

Resultados Principais

Desempenho do MELLON

• Melhoria de Acurácia: Treinar o MELLON por apenas um epoch resultou em um aumento de 9,26% na acurácia de conclusão de tarefa passo a passo em comparação com o baseline de inferência unimodal ViT+CodeLlama (subindo de 5,11% para 14,37%).
• Estudos de Ablação:
  • Substituir o baseline ResNet por um ViT + QFormer Treinável rendeu pontuações comparáveis (39,92), mas taxas de sucesso ligeiramente menores (9,6% vs 9,8%) em relação ao ResNet, sugerindo que modelos mais simples podem ser suficientes em certos contextos ou que a tarefa requer um contexto multimodal limitado.
  • O uso do CodeLlama foi preferido em relação ao Vicuna-7B devido a menos alucinações e melhor adesão aos formatos de tarefa, embora o CodeLlama ainda produza ocasionalmente saídas vazias ou inválidas.
• Análise Qualitativa: Em casos específicos (ex: selecionar um sofá de "acabamento em madeira"), o MELLM utilizou com sucesso pistas visuais para identificar o produto correto, enquanto o baseline unimodal falhou devido à falta de compreensão visual.

Desempenho do VQAgent e do Ranker Multimodal

• VQAgent: Este modelo teve desempenho inferior ao baseline, alcançando uma pontuação de 31,26 e uma taxa de sucesso de 5,7% (vs. baseline de 39,92 e 9,8%). Os autores atribuem isso a um descompasso na densidade de informação: no WebShop, as descrições textuais frequentemente contêm informações mais críticas do que as imagens, ao contrário das tarefas VQA padrão onde a informação visual é dominante.
• Ranker Multimodal: A integração do algoritmo de ranking diminuiu o desempenho (Pontuação: 28,13; Taxa de Sucesso: 8,6%). Os autores sugerem que a exploração exaustiva é ineficiente no vasto espaço de busca do WebShop e que os scores de similaridade BERT/CLIP não correlacionam confiavelmente com os critérios de recompensa específicos do ambiente WebShop.

Significância e Alegações

O artigo afirma ser o primeiro a:

1. Desenvolver um agente de navegação web multimodal que incorpora LLMs apesar dos desafios de engenharia de mapear a geração de código aberto para espaços de ação web dinâmicos.
2. Alinhar representações visuais e textuais via uma camada de projeção em um LLM, demonstrando uma estratégia de treinamento eficiente (congelando o LLM e o ViT).
3. Permitir raciocínio e planejamento fortes em um cenário multimodal ao redesenhar os prompts ReAct para incluir representações visuais.

Os autores enfatizam que, embora o MELLON mostre grande potencial com treinamento mínimo (um epoch), os resultados destacam a necessidade de maior exploração em abordagens multimodais. Eles reconhecem limitações atuais, incluindo a natureza congelada do LLM e do ViT, e os desafios de engenharia impostos pelo ambiente WebShop. O trabalho sugere que, com treinamento mais extenso, maiores recursos de memória e, potencialmente, o ajuste fino (fine-tuning) do LLM, agentes multimodais poderiam alcançar uma eficácia substancialmente maior em tarefas de navegação web.