Resumen Técnico: MELLON - LLM Multimodal Mejorado para Navegación en Línea

Declaración del Problema

Los agentes de navegación web están diseñados para ejecutar tareas de forma autónoma en sitios web basadas en instrucciones de lenguaje natural. Aunque las líneas base actuales suelen aprovechar las capacidades de razonamiento de los Modelos de Lenguaje de Gran Escala (LLMs), operan predominantemente de manera unimodal, dependiendo únicamente del texto (HTML o árboles de accesibilidad) e ignorando la información visual. Los autores argumentan que esta es una limitación crítica, particularmente en entornos de comercio electrónico como WebShop, donde las pistas visuales (por ejemplo, el acabado, el color o el estilo de un producto) a menudo contienen información cualitativa ausente de las descripciones textuales. Los enfoques multimodales existentes carecen de una capacidad de razonamiento sólida o tienen dificultades con la naturaleza dinámica y con restricciones de acción de la navegación web, donde las desviaciones de un espacio de acción predefinido conducen al fallo de la tarea.

Metodología

El artículo propone tres enfoques multimodales distintos para abordar estos desafíos, centrándose principalmente en MELLON (Multimodal Enhanced LLM for Online Navigation).

1. MELLON (Multimodal Enhanced LLM for Online Navigation)

MELLON es un agente web diseñado para integrar modalidades visuales y textuales para un razonamiento y planificación mejorados. Su arquitectura consta de tres innovaciones principales:

• Mejores Codificadores: El modelo utiliza un codificador base Vision Transformer (ViT) preentrenado junto con un Q-Former para generar codificaciones de imagen. A diferencia de las CNN tradicionales (por ejemplo, ResNet), el ViT trata los parches de imagen como tokens, capturando las relaciones espaciales de manera más efectiva.
• Alineación Texto-Imagen y Entrenamiento Eficiente: Para cerrar la brecha entre el codificador visual y el LLM, se emplea una única capa de proyección. Esta capa alinea las incrustaciones (embeddings) visuales con el espacio de entrada del LLM.
  • Estrategia de Entrenamiento: Los autores emplean un enfoque de parámetros eficientes donde el LLM (CodeLlama) y el ViT están congelados. Solo se entrenan la capa de proyección y el Q-Former.
  • Función de Pérdida: El modelo se entrena utilizando una pérdida de generación de entropía cruzada sobre pares de entradas multimodales y acciones exitosas. La puntuación de finalización de WebShop se integra en la función de pérdida para optimizar conjuntamente el razonamiento y la alineación de la acción.
• Prompts ReAct Extendidos: El prompt ReAct (Razonamiento + Acción) estándar se rediseña para incluir representaciones visuales alineadas (insertadas mediante <ImageHere>). La ingeniería de prompts fue fuertemente optimizada para ajustarse a las restricciones de memoria de GPU de 24 GB, asegurando que el agente pueda realizar un razonamiento disperso y seleccionar acciones de un espacio válido ($A' = A \cap L$).

2. VQAgent

Este enfoque redefine la tarea de WebShop como un problema de Pregunta-Respuesta Visual (VQA) de múltiples saltos, donde las "respuestas" corresponden a acciones.

• Arquitectura: Utiliza el modelo BEiT3, un modelo de visión y lenguaje de vanguardia.
• Adaptación: A diferencia del VQA estándar (una tarea de generación), WebShop se trata como una tarea de clasificación. El modelo codifica la observación (imagen, descripción del producto, instrucción) y todas las acciones posibles por separado utilizando BEiT3. Estas incrustaciones son procesadas a través de una capa de bi-atención y una capa lineal para puntuar las acciones.
• Entrenamiento: El modelo se entrena mediante Aprendizaje por Imitación sobre trayectorias humanas para imitar la selección de la acción correcta.

3. Clasificador Multimodal (Multimodal Ranker)

Este componente tiene como objetivo mejorar el comportamiento exploratorio evaluando sistemáticamente todas las opciones disponibles antes de tomar una decisión, en lugar de seleccionar el primer resultado inicial.

• Mecanismo: Combina puntuaciones BERT (que miden la similitud textual entre las instrucciones y los títulos de los productos) y puntuaciones CLIP (que miden la congruencia imagen-texto).
• Entrenamiento: Un parámetro aprendible equilibra estas dos dimensiones, y el clasificador se entrena utilizando la pérdida de Error Cuadrático Medio (MSE) contra la puntuación de finalización de WebShop como etiqueta.

Resultados Clave

Rendimiento de MELLON

• Mejora de la Precisión: Entrenar MELLON durante solo un epoch resultó en un aumento del 9.26% en la precisión de finalización de tareas paso a paso en comparación con la línea base de inferencia unimodal de ViT+CodeLlama (subiendo del 5.11% al 14.37%).
• Estudios de Ablación:
  • Reemplazar la línea base de ResNet con un ViT + QFormer entrenable produjo puntuaciones comparables (39.92) pero tasas de éxito ligeramente menores (9.6% vs 9.8%) en comparación con ResNet, lo que sugiere que modelos más simples pueden ser suficientes en ciertos contextos o que la tarea requiere un contexto multimodal limitado.
  • Se prefirió el uso de CodeLlama sobre Vicuna-7B debido a que presenta menos alucinaciones y un mejor cumplimiento de los formatos de la tarea, aunque CodeLlama todavía produce ocasionalmente salidas vacías o inválidas.
• Análisis Cualitativo: En casos específicos (por ejemplo, seleccionar un sofá de "acabado de madera"), MELLON utilizó con éxito las pistas visuales para identificar el producto correcto, mientras que la línea base unimodal falló debido a la falta de comprensión visual.

Rendimiento de VQAgent y el Clasificador Multimodal

• VQAgent: Este modelo tuvo un rendimiento inferior al de la línea base, logrando una puntuación de 31.26 y una tasa de éxito del 5.7% (frente a la línea base de 39.92 y 9.8%). Los autores atribuyen esto a un desajuste en la densidad de información: en WebShop, las descripciones textuales suelen contener información más crítica que las imágenes, a diferencia de las tareas de VQA estándar donde la información visual es dominante.
• Clasificador Multimodal: La integración del algoritmo de clasificación disminuyó el rendimiento (Puntuación: 28.13; Tasa de Éxito: 8.6%). Los autores sugieren que la exploración exhaustiva es ineficiente en el vasto espacio de búsqueda de WebShop y que las puntuaciones de similitud BERT/CLIP no se correlacionan de manera confiable con los criterios de recompensa específicos del entorno WebShop.

Significancia y Reivindicaciones

El artículo afirma ser el primero en:

1. Desarrollar un agente de navegación web multimodal que incorpora LLMs a pesar de los desafíos de ingeniería de mapear la generación abierta al espacio de acciones dinámicas de la web.
2. Alinear las representaciones visuales y textuales mediante una capa de proyección hacia un LLM, demostando una estrategia de entrenamiento eficiente (congelando el LLM y el ViT).
3. Permitir un razonamiento y planificación fuertes en un entorno multimodal mediante el rediseño de los prompts ReAct para incluir representaciones visuales.

Los autores enfatizan que, si bien MELLON muestra una promesa significativa con un entrenamiento mínimo (un epoch), los resultados resaltan la necesidad de una mayor exploración en los enfoques multimodales. Reconocen las limitaciones actuales, incluyendo la naturaleza congelada del LLM y el ViT, así como los desafíos de ingeniería que plantea el entorno WebShop. El trabajo sugiere que con un entrenamiento más extenso, mayores recursos de memoria y, potencialmente, el ajuste fino (fine-tuning) del LLM, los agentes multimodales podrían lograr una efectividad sustancialmente mayor en las tareas de navegación web.