기술 요약: MELLON - 온라인 내비게이션을 위한 멀티모달 강화 LLM

문제 정의

웹 내비게이션 에이전트는 자연어 지침에 따라 웹사이트에서 자율적으로 작업을 수행하도록 설계되었습니다. 현재의 베이스라인들은 추론 능력을 위해 대규모 언어 모델(LLM)을 주로 활용하지만, 주로 텍스트(HTML 또는 접근성 트리)에만 의존하고 시각적 정보를 무시하는 단일 모달(unimodal) 방식으로 작동합니다. 저자들은 이것이 특히 WebShop과 같은 이커머스 환경에서 결정적인 한계라고 주장합니다. 이러한 환경에서는 시각적 단서(예: 제품의 마감, 색상, 스타일)가 텍스트 설명에는 없는 질적 정보를 포함하는 경우가 많기 때문입니다. 기존의 멀티모달 접근 방식은 강력한 추론 능력이 부족하거나, 정의된 액션 공간에서 벗어나면 작업 실패로 이어지는 동적이고 제약된 액션 특성을 처리하는 데 어려움을 겪습니다.

방법론

본 논문은 이러한 과제를 해결하기 위해 세 가지 뚜렷한 멀티모달 접근 방식을 제안하며, 그 중 핵심은 MELLON(Multimodal Enhanced LLM for Online Navigation)에 집중합니다.

1. MELLON (온라인 내비게이션을 위한 멀티모달 강화 LLM)

MELLON은 향상된 추론과 계획을 위해 시각 및 텍스트 모달리티를 통합하도록 설계된 웹 에이전트입니다. 이 아키텍처는 세 가지 핵심 혁신으로 구성됩니다:

• 더 나은 인코더 (Better Encoders): 이 모델은 이미지 인코딩을 생성하기 위해 사전 학습된 Vision Transformer (ViT) 백본과 Q-Former를 결ant합니다. 전통적인 CNN(예: ResNet)과 달리, ViT는 이미지 패치를 토큰으로 취급하여 공간적 관계를 더 효과적으로 포착합니다.
• 텍스트-이미지 정렬 및 효율적 학습 (Text-Image Alignment and Efficient Training): 시각적 인코더와 LLM 사이의 간극을 메우기 위해 단일 **프로젝션 레이어(projection layer)**가 사용됩니다. 이 레이어는 시각적 임베딩을 LLM의 입력 공간에 정렬합니다.
  • 학습 전략: 저자들은 LLM(CodeLlama)과 ViT를 **동결(frozen)**하고, 프로젝션 레이어와 Q-Former만을 학습시키는 파라미터 효율적 접근 방식을 채택했습니다.
  • 손실 함수 (Loss Function): 모델은 멀티모달 입력과 성공적인 액션 쌍에 대해 크로스 엔트로피 생성 손실을 사용하여 학습됩니다. WebShop 완료 점수가 손실 함수에 통합되어 추론과 액션 정렬을 공동 최적화합니다.
• 확장된 ReAct 프롬프트 (Extended ReAct Prompts): 표준 ReAct (Reasoning + Acting) 프로프트를 정렬된 시각적 표현( <ImageHere>를 통해 삽입됨)을 포함하도록 재설계했습니다. 프롬프트 엔지니어링은 24 GB GPU 메모리 제약 내에 맞도록 고도로 최적화되었으며, 이를 통해 에이전트가 희소한 추론을 수행하고 유효한 공간($A' = A \cap L$)에서 액션을 선택할 수 있도록 보장합니다.

2. VQAgent

이 접근 방식은 WebShop 작업을 다중 홉 시각적 질의응답(VQA) 문제로 재구성하며, 여기서 "답변"은 액션에 해당합니다.

• 아키텍처: 최첨단 비전-언어 모델인 BEiT3를 활용합니다.
• 적응 (Adaptation): 표준 VQA(생성 작업)와 달리, WebShop은 분류 작업으로 취급됩니다. 모델은 관측값(이미지, 제품 설명, 지침)과 가능한 모든 액션을 BEiT3를 사용하여 각각 인코딩합니다. 그런 다음 이 임베딩들은 바이-어텐션(bi-attention) 레이어와 선형 레이어를 거쳐 액션의 점수를 매깁니다.
• 학습: 모델은 인간의 궤적을 통한 **모방 학습(Imitation Learning)**을 통해 올바른 액션 선택을 모방하도록 학습됩니다.

3. 멀티모달 랭커 (Multimodal Ranker)

이 구성 요소는 초기 상위 결과만을 선택하는 대신, 결정을 내리기 전에 모든 가용 옵션을 체계적으로 평가함으로써 탐색적 행동을 개선하는 것을 목표로 합니다.

• 메커니즘: 지침과 제품 제목 사이의 텍ual 유사도를 측정하는 BERT 점수와 이미지-텍스트 일치도를 측정하는 CLIP 점수를 결합합니다.
• 학습: 학습 가능한 파라미터가 두 차원의 균형을 맞추며, 랭커는 WebShop 완료 점수를 레이블로 사용하여 평균 제곱 오차(MSE) 손실을 통해 학습됩니다.

주요 결과

MELLON 성능

• 정확도 향 향상: MELLON을 단 1 에포크(epoch) 동안 학습시킨 결과, 단일 모달 ViT+CodeLlama 추론 베이스라인(5.11%에서 14.37%로 상승)에 비해 단계별 작업 완료 정확도가 9.26% 증가했습니다.
• 절제 연구 (Ablation Studies):
  • ResNet 베이스라인을 ViT + 학습 가능한 QFormer로 교체했을 때 유사한 점수(39.92)를 얻었으나, ResNet에 비해 성공률은 약간 낮았습니다(9.6% vs 9.8%). 이는 더 단순한 모델이 특정 맥락에서는 충분하거나, 작업이 제한된 멀티모달 컨텍스트를 요구함을 시사합니다.
  • CodeLlama는 환각(hallucination)이 적고 작업 형식 준수 능력이 더 뛰어나 Vicuna-7B보다 선호되었습니다. 다만, CodeLlama 역시 가끔 빈 값이나 유효하지 않은 출력을 생성했습니다.
• 질적 분석: 특정 사례(예: "wood finish" 소파를 선택하는 경우)에서 MELLON은 시각적 이해가 부족한 단일 모달 베이스라인과 달리 시각적 단서를 성공적으로 활용하여 올바른 제품을 식ident했습니다.

VQAgent 및 멀티모달 랭커 성능

• VQAgent: 이 모델은 베이스라인(39.92)에 비해 낮은 점수인 31.26과 5.7%의 성공률을 기록하며 베이스라인보다 성능이 떨어졌습니다. 저자들은 이를 정보 밀도의 불일치 때문이라고 설명합니다. 즉, 표준 VQA 작업에서는 시각적 정보가 지배적인 반면, WebShop에서는 텍스트 설명이 이미지보다 더 중요한 정보를 포함하는 경우가 많습니다.
• 멀티모달 랭커: 랭킹 알고리즘의 통합은 오히려 성능을 감소시켰습니다 (점수: 28.13; 성공률: 8.6%). 저자들은 WebShop의 방대한 검색 공간에서 철저한 탐색이 비효율적이며, BERT/CLIP 유사도 점수가 WebShop 환경의 특정 보상 기준과 신뢰할 수 있게 상관관을 맺지 못한다고 제안합니다.

의의 및 주장

본 논문은 다음과 같은 최초의 성과를 주장합니다:

1. 동적인 웹 액션 공간에 개방형 생성을 매핑하는 엔지니어링 과제에도 불구하고, LLM을 통합한 멀로티모달 웹 내비게이션 에이전트를 개발했습니다.
2. 프로젝션 레이어를 통해 시각 및 텍스트 표현을 LLM으로 정렬하였으며, 이를 통해 효율적인 학습 전략(LLM 및 ViT 동결)을 입증했습니다.
3. 시각적 표현을 포함하도록 ReAct 프롬프트를 재설계함으로써 멀티모달 환경에서의 강력한 추론과 계획을 가능하게 했습니다.

저자들은 MELLON이 최소한의 학습(1 에포크)으로도 상당한 가능성을 보여주었지만, 결과적으로 멀티모달 접근 방식에 대한 추가적인 탐구가 필요함을 강조합니다. 또한 LLM과 ViT의 동결 상태, WebShop 환경이 주는 엔지니어링 과제 등 현재의 한계를 인정합니다. 이 연구는 더 광범한 학습, 더 큰 메모리 자원, 그리고 잠재적인 LLM 미세 조정을 거친다면 멀티모달 에이전트가 웹 내비게이션 작업에서 실질적으로 더 높은 효과를 달성할 수 있음을 시사합니다.