Trifuse: Enhancing Attention-Based GUI Grounding via Multimodal Fusion

기술 요약: Trifuse

문제 정의
그래픽 사용자 인터페이스(GUI) 그라운딩(grounding)은 자연어 지시사항을 특정 인터페이스 요소에 매핑하는 작업으로, 자율형 GUI 에이전트의 핵심적인 능력입니다. 현재의 최첨단 방식들은 주로 대규모로 주석(annotation)이 달린 GUI 데이터셋을 사용하여 멀티모달 거대 언어 모델(MLLM)을 미세 조정(fine-tuning)하는 학습 기반 방식에 의존하고 있습니다. 이러한 방식은 효과적이긴 하지만, 데이터 집약적이고 계산 비용이 많이 들며, 재학습 없이는 보지 못한 인터페이스, 레이아웃 또는 운영 체제에 일반화되지 못하는 경우가 많습니다.

최근의 어텐션 기반 대안들은 사전 학습된 MLLM의 내부 어텐션 메커니즘을 활용하여 타겟 요소를 국지화함으로써 미세 조정을 우회하려고 시도합니다. 그러나 이러한 "학습이 필요 없는(training-free)" 방식들은 신뢰도가 낮다는 단점이 있습니다. 주요 한계점으로 식별된 것은 GUI 이미지 내에 명시적이고 상호 보완적인 공간 앵커(spatial anchors)가 부족하다는 점입니다. 원시 어텐션 맵(raw attention maps)에만 의 Relying 하는 것은 종종 노이즈가 많거나 확산된 국지화 신호를 초래하여 타겟 요소를 정밀하게 식별하는 데 실패하게 됩니다.

방법론: Trifuse 프레임워크
이러한 한계를 해결하기 위해, 저자들은 태스크 특화된 미세 조정 없이도 멀티모달 융합을 통해 국지화 정확도를 높이는 어텐션 기반 그라운딩 프레임워크인 Trifuse를 제안합니다. 이 프레임워크는 세 단계로 작동합니다:

1. 모달리티 추출 (Modality Extraction): Trifuse는 세 가지 상호 보완적인 그라운딩 히트맵을 구축합니다:

   • 어텐션 모달리티 (Attention Modality): 모든 어텐션 헤드와 토큰을 사용하는 대신, Trifuse는 2단계 필터링 기법을 적용합니다. 먼저 토큰-이미지 관련성 점수를 기반으로 태스크 관련 쿼리 토큰을 식별합니다. 둘째, 공간 엔트로피(spatial entropy)를 기준으로 어텐션 헤드를 필터링하여, 그라운딩에 유용한 집중된 어텐션 패턴을 보이는 헤드만을 유지합니다. 이렇게 필터링된 신호들은 신뢰할 수 있는 어텐션 히트맵으로 집계됩니다.
   • OCR 모달리티 (OCR Modality): 기성(off-the-shelf) OCR 엔진을 통해 텍스트 요소, 경계 상자(bounding boxes), 신뢰도 점수를 추출합니다. 이들은 사용자 지시사항과 의미론적 관련성 점수를 통해 정렬되며, 시각적 패치 그리드(visual patch grid) 상에 투영되어 OCR 기반 히트맵을 형성합니다.
   • 캡션 모달티 (Caption Modality): 사전 학습된 아이콘 탐지 모델(OmniParser)이 비텍스트 시각 요소(예: 버튼, 컨트롤)를 국지화하고 의미론적 캡션을 생성합니다. OCR과 마찬가지로, 이들은 지시사항과 정렬되어 그리드에 투영됨으로써 캡션 기반 히트맵을 생성합니다.

2. 모달리티 융합 (Consensus-SinglePeak 전략):
   프레임워크는 세 가지 히트맵을 통합하기 위해 새로운 Consensus-SinglePeak (CS) 융합 전략을 도입합니다. 이 전략은 두 가지 목적의 균형을 맞춥니다:

   • 합의 (Consensus, $M_{cons}$): 세 모달리티의 요소별 곱셈을 통해 세 모달리티가 모두 동의하는 영역을 증폭시키고, 이를 통해 모달리티별 노이즈를 억제합니다.
   • 싱글 피크 (Single-Peak, $M_{single}$): 단일 모달리티에 고유한 강력하고 변별력 있는 신호(예: OCR에 의해서만 탐지된 특정 텍text 요소)를 보존하는 메커니즘입니다. 여기에는 높은 신뢰도를 가진 피크를 다른 모달리티에 의해 뒷받침되는 경우 증폭시키고, 고립되어 잠재적으로 노이즈가 될 수 있는 피크는 가중치를 낮추는 신뢰도 인식 가중치 부여 방식이 포함됩니다. 최종 히트맵은 합의 성분과 싱글 피크 성분의 요소별 합입니다.

3. 2단계 국지화 (Two-Stage Localization):
   고해상도 스크린샷의 다운샘플링으로 인해 발생하는 MLLM 토큰의 거친 공간적 입도(granularity) 문제를 극복하기 위해, Trifuse는 2단계 줌인(zoom-in) 전략을 사용합니다. 먼저 전체 해상도 히트맵에서 거친 타겟 영역을 식별합니다. 그 다음, 이 영역을 크롭(crop)하고 모델의 입력 해상도로 재조정하여 추론을 다시 실행함으로써 정밀하고 세밀한 예측을 얻습니다.

주요 기여

• Trifuse 프레임워크: MLLM 어텐션, OCR 유래 텍스트 단서, 아이콘 수준의 캡션 의미론을 융합하는 학습이 필요 없는 GUI 그라운딩 프레임워크입니다.
• 효율적인 어텐션 추출: 토큰 수준의 관련성 점수 산출과 헤드 수준의 공간 엔트로피 필터링을 활용하여 MLLM으로부터 정밀한 어텐션 신호를 추출하는 전략입니다.
• Consensus-SinglePeak (CS) 융합: 교차 모달리티 간의 합의와 모달리티별 변별적 신호를 공동으로 모델링하여, 노이즈에 대한 강건성과 고유한 단서에 대한 민감도 사이의 균형을 효과적으로 맞추는 융합 전략입니다.
• 일반화 가능성: 이 프레임워크는 학습이 필요 없는 백본(backbone)과 기존의 미세 조정된 모델 모두에 적용할 수 있는 범용적인 향상 도구로 기능합니다.

실험 결과
ScreenSpot, ScreenSpot-v2, ScreenSpot-Pro, OSWorld-G의 네 가지 벤치마크를 통해 광범위한 평가가 수행되었습니다.

• 학습이 필요 없는 베이스라인 대비 성능: Trifuse는 최첨단 학습-프리 방식인 TAG를 크게 앞섭 over 합니다. 예를 들어, ScreenSpot에서 Trifuse (3B 백본)는 **81.1%**의 정확도를 달s성하여, TAG의 57.5% 대비 +23.6%의 향상을 보였습니다.
• 지도 학습 모델 대비 성능: GUI 특화 주석 데이터가 필요 없음에도 불구하고, Trifuse는 다양한 플랫폼(모바일, 데스크톱, 웹)에서 여러 지도 미세 조정(SFT) 모델 및 강화 학습(RL) 접근 방식과 대등하거나 더 우수한 성능을 달성했습니다.
• 모듈형 향상: GUI-Actor 및 GUI-AIMA와 같은 기존 미세 조정된 모델과 통합되었을 때, Trifuse는 국지화 정확도를 일관되게 개선했습니다 (예: GUI-Actor 3B의 경우 ScreenSpot에서 +3.0%). 이는 학습된 모델에 대해서도 모듈형 향상 도구로서의 가치를 입증합니다.
• 절제 연구 (Ablation Studies): 실험을 통해 어텐션 추출에 있어 토큰 및 헤드 필터링이 모두 중요하다는 것이 확인되었습니다. 또한, CS 융합 전략은 단순 평균 및 고정 가중치 융합 베이스라인보다 성능이 현저히 뛰어났으며, 이는 합의 신호와 싱글 피크 신호 사이의 적응적 균형의 필요성을 입증합니다.

의의
본 논문은 원칙적인 멀티모달 융합이 추론 시점에 MLLM으로부터 값비싼 태스크 특화 주석 데이터 없이도 강력한 GUI 그라운딩 능력을 끌어낼 수 있음을 보여준다고 주장합니다. OCR 및 캡션과 같은 상호 보완적인 공간 앵커를 어텐션 메커니즘과 명시적으로 통합함으로써, Trifuse는 기존 어텐션 기반 방식들의 신뢰성 문제를 해결합니다. 저자들은 이 연구를 대규모 GUI 데이터셋과 재학습 파이프라인에 대한 의존도를 줄이면서, 다양한 인터페이스에 걸쳐 일반화될 수 있는 확장 가능하고 데이터 효율적인 GUI 에이전트를 향한 단계로 포지셔닝합니다.