기술 요약: DWIM – 도구 인지형 시각적 추론을 향하여

1. 문제 정의

시각적 추론(Visual Reasoning, VR)은 세부적인 장면 표현을 구축하고 이를 단계별로 추론하는 과정을 포함하며, 이는 자율 주행 및 의료 분석과 같은 분야에서 매우 중요한 능력입니다. LLM(Large Language Model)을 플래너(planner)로 활용하여 작업을 도구 활용 워크플로우로 분해하는 구성적 접근 방식(compositional approaches)이 유망한 결과를 보여주었으나, 다음과 같은 심각한 병목 현상에 직면해 있습니다:

• 도구 인지 능력의 부재 (Lack of Tool Awareness): 플래너로 흔히 사용되는 동결된(frozen) LLM은 도구의 기능이나 효과적인 워크플로우를 이해하도록 명시적인 학습을 받지 못했습니다. 이들은 인컨텍스트 학습(in-context learning)에 크게 의존하지만, 이는 복잡한 도구 간의 상호작용을 파악하기에는 불충분합니다.
• 도구의 신뢰성 및 노이즈 (Tool Reliability and Noise): 텍스트 기반 도메인(예: 계산기)의 결정론적 도구와 달리, VR은 오류나 사실적 오류가 발생하기 쉬운 딥러닝 기반의 인지 도구에 의존합니다. 결과적으로, 논리적으로는 타당한 워크플로우라 할지라도 도구로 인한 오류 때문에 실제 실행 시 실패하는 경우가 빈번합니다.
• 데이터 비효율성 (Data Inefficiency): 현재의 방법들은 최종 결과가 틀릴 경우 전체 워크플로우를 폐기하는 "표준" 워크플로우 생성 방식에 의존하는 경우가 많습니다. 이는 중간 단계가 유효할 수 있다는 사실을 간과합니다. 또한, 노이즈가 있는 워크플로우에 대한 단순한 지도 미세 조정(SFT)은 모델이 오류를 수정하기보다 비효효율적인 도구 사용과 실패 사례를 그대로 복제하게 만들어, 오류를 교정하는 대신 강화하는 결과를 초래합니다.
• 단일 턴의 한계 (Single-Turn Limitations): 기존의 많은 구성적 VR 방법들은 단일 턴 프레임워크 내에서 작동하여, 에이전트가 추론을 정교화하기 위해 반복적인 환경 피드백을 받을 수 없게 합니다.

2. 방법론: DWIM

저자들은 도구 인지 능력을 향상시키고 학습 데이터 활용을 최적화하기 위해 설계된 프레임워크인 DWIM(Discrepancy-aware Workflow generation & Instruct-Masking)을 제안합니다. 이 프레임워크는 두 가지 핵심 구성 요소로 이루어져 있습니다:

A. 불일치 인지 워크플로우 생성 (Discrepancy-aware Training Workflow Generation)

정적인 단일 턴 계획 프로세스 대신, DWIM은 ReAct 및 CodeAct에서 영감을 받은 다중 턴 상호작용을 특징으로 하는 **자동 탐색 에이전트 프레임워크(Auto-Exploring Agentic Framework)**를 채택합니다.

• 메커니즘: 에이전트는 일련의 행동(생각, 코드/도구 사용, 완료)을 생성합니다. 결정적으로, 학습 데이터 생성 단계에서는 정답($y$)이 사전 지식으로 제공됩니다.
• 불일치 탐지 (Discrepancy Detection): LLM은 기대되는 정답($y$)과 실제 환경 피드백($e$)을 조건으로 설정합니다. 만약 피드백과 기대 결과 사이에 불일치(예: 사실적 오류 또는 예상치 못한 도구 출력)가 감지되면, 모델은 "다시 생각하기(Rethink)" 행동을 생성합니다.
• 정교화 (Refinement): "다시 생각하기" 행동은 불일치에 대한 자연어 설명과 대안적인 도구 사용 또는 단계 제안을 포함합니다. 이를 통해 시스템은 폐기될 뻔한 워크플로우를 구제할 수 있으며, 결과적으로 유효한 학습 데이터 풀을 늘리고 모델이 도구 실패를 인식하고 수정하도록 가르칩니다.

B. 인스트럭트 마스킹 미세 조정 (Instruct-Masking Fine-tuning)

"다시 생각하기" 단계가 포함된 워크플로우 데이터셋이 수집되면, DWIM은 새로운 인스트럭트 마스킹(Instruct-Masking) 전략을 사용하여 LLM을 미세 조정합니다.

• 의미론적 마스킹 (Semantic Masking): 토큰 수준의 마스킹(예: BERT)과 달리, 이 방법은 의미론적 수준에서 행동을 마스킹합니다. 불일치 평가를 통해 식별된 효과적인 행동은 마스킹되는 반면, 비효과적인 행동과 그에 대응하는 "다시 생각하기" 설명은 마스킹되지 않은 상태로 남습니다.
• 교육적 목적 (Instructional Objective): 모델은 마스킹된 효과적인 행동을 재생성하도록 지시받습니다. 이는 모델이 노이즈가 섞인 전체 시퀀스를 맹목적으로 복제하는 대신, 성공적인 도구 사용 방법을 학습하도록 강제합니다.
• 손실 함수 (Loss Function): 학습 과정에서는 보상 가중치가 적용된 음의 로그 가능도(negative log-likelihood) 손실을 최소화하며, 모델이 효과적인 단계를 재현하는 데 집중하는 동시에 마스킹되지 않은 "다시 생각하기" 세그먼트로부터 실패 패턴을 학습하도록 합니다.

3. 주요 기여

1. 불일치 인지 워크플로우 생성: 생성 단계에서 VR 도구 사용의 효과성을 평가하는 최초의 알려진 방법입니다. 기대 정답과 도구 피드백 사이의 불일치를 탐지함으로써 행동을 정교화하고 생성된 워크플로우의 성공률을 높여 데이터 활용도를 향상시킵니다.
2. 인스트럭트 마스킹 미세 조정: 학습 가능한 워크플로우 크기를 확장하는 새로운 미세 조정 방식입니다. 모델에게 마스킹되지 않은 부분에서는 실패 사례를 노출시키되, 마스킹된 부분에서는 효과적인 행동만을 복제하도록 지시함으로써 도구 인지 능력을 크게 개선합니다.
3. 최첨단 성능 (State-of-the-Art Performance): 광범적인 실험을 통해 DWIM이 다양한 VR 작업과 데이터셋에서 우수한 성능을 입증하였으며, 인컨텍스트 학습 예시 없이도 강력한 일반화 능력을 보여주었습니다.

4. 실험 결과

저자들은 VCR(Visual Commonsense Reasoning), EKVQA(External-Knowledge VQA), VLCU(Vision-Language Compositionality Understanding), VASA(Visual Adversarial Sample Answering), GD(Grounding Detection), CCQ(Complex Counting)를 아우르는 6개의 데이터셋에서 DWIM을 평가했습니다.

• 성능: DWIM은 모든 작업에서 SOTA 성능을 달s성했습니다. 기존의 구성적 접근 방식(예: VisRep, HYDRA)과 비교했을 때 평균 9.73% 이상의 절대적 향상을 보였습니다. 특히, DWIM은 10-shot 인컨텍스트 학습을 사용하는 기존 베이스라인들을 제치고, 평가 시 0-shot 상태에서도 이를 능가했습니다.
• 일반화: 교차 데이터셋 평가(GQA로 학습하고 OKVQA, A-OKVQA, SugarCREPE, Winoground로 테스트)에서 DWIM은 강력한 제로샷 일반화 능력을 보여주었으며, 베이스라인보다 평균 약 4.8% 높은 성능을 기록했습니다.
• 데이터 활용: 불일치 인지 생성 방식은 표준 생성 방식에 비해 GQA에서 17.4%, SugarCREPE에서 17.1% 더 높은 비율의 유효한 워크플로우 생성 데이터 포인트를 확보했습니다.
• 도구 효율성: DWIM은 성공적인 샘플당 평균 1.74회의 도구 사용을 필요로 하여, 다른 방법들(2.49~3.26회)보다 높은 도구 사용 효율성을 입증했습니다.
• 강건성: 이 방법은 인간의 프롬프트 엔지니어링에 대한 의존도를 낮추었으며, 다른 방법들이 성능 저하를 겪는 완전한(비특화) 도구 라이브러리를 사용하는 상황에서도 성능을 유지했습니다.
• 백본 독립성: LLaMa-3.1, Mistral, Qwen2.5 변형을 포함한 다양한 LLM 백본 전반에서 개선 효과가 일관되게 나타났습니다.

5. 의의 및 주장

본 논문은 DWIM이 명시적으로 "도구 인지"를 학습시킴으로써 기존의 동결된 LLM이 가진 결정적인 한계를 해결한다고 주장합니다. VR의 도구가 불완전할 수 있고 워크플로우에 부분적인 오류가 포함될 수 있음을 인정함으로써, 이 방법은 기존의 이분법적인 "성공/실패" 패러다임을 넘어섭니다.

저자들은 DWIM이 LLM을 다음과 같이 만든다는 점을 강조합니다:

• 환경 피드백에서의 사실적 오류를 인식하고 설명할 수 있음.
• "다시 생각하기" 메커니즘을 통해 도구 사용을 동적으로 정교화할 수 있음.
• 비효과적인 행동을 강화하지 않으면서 노이즈가 있는 데이터로부터 학습할 수 있음.

궁극적으로 DWIM은 광범위한 인간의 프롬프트 엔지니어링과 대규모 주석 데이터에 대한 의존도를 줄이고, 더 효율적인 경로를 제공함으로써 복잡하고 인간에 가까운 시각적 이해를 향한 강력하고 일반화 가능한 솔루션으로 제시됩니다.