ToolVQA: A Dataset for Multi-step Reasoning VQA with External Tools

이 논문은 실제 세계의 시각적 맥락과 복잡한 다단계 추론을 요구하는 23,000 개의 인스턴스로 구성된 대규모 멀티모달 데이터셋 'ToolVQA'와 이를 생성하기 위한 'ToolEngine' 파이프라인을 제안하여, 이를 통해 미세 조정된 7B 규모의 대형 언어 모델이 GPT-3.5-turbo 를 능가하는 도구 사용 능력을 입증합니다.

핵심

이 논문은 **"ToolVQA"**라는 새로운 프로젝트와 이를 만들기 위한 **"ToolEngine"**이라는 도구에 대해 소개합니다. 아주 쉽게 비유를 들어 설명해 드릴게요.

🍳 비유: "요리하는 로봇"과 "레시피 책"

상상해 보세요. 여러분은 요리를 잘하는 로봇 (AI) 을 가지고 있습니다. 하지만 이 로봇은 아직 **요리 도구 (칼, 팬, 오븐)**를 어떻게 써야 할지, 그리고 복잡한 레시피를 어떻게 따라야 할지 잘 모릅니다.

기존의 연구들은 로봇에게 "감자 껍질 벗기기" 같은 아주 단순한 작업만 시켰습니다. 하지만 현실에서는 "감자 껍질을 벗기고, 양파를 다져서, 오븐에 구운 뒤, 소금 간을 맞춰서"처럼 여러 단계를 거쳐야 하는 복잡한 요리가 필요합니다.

이 논문은 바로 그 **복잡한 현실 세계의 요리 (문제 해결)**를 가르칠 수 있는 **최고급 레시피 책 (ToolVQA 데이터)**과, 그 책을 자동으로 만들어주는 **요리 연구소 (ToolEngine)**를 소개합니다.

---

1. 문제: 기존 로봇들은 왜 엉뚱한 짓을 할까?

기존에 있던 데이터들은 로봇에게 "가상의 요리"만 시켰습니다.

• 가상의 상황: "이 가상의 감자는 어떻게 할까요?" (실제 사진이 아님)
• 단순한 질문: "칼을 써서 감자를 자르세요." (도구를 쓸지 말지 고민할 필요 없음)

하지만 실제 사람은 사진을 보고 "아, 이 감자가 너무 크네. 먼저 칼로 자르고, 그다음에 저기 있는 양파를 찾아서 다져야겠다"라고 **생각의 흐름 (추론)**을 만들어가며 도구를 사용합니다. 기존 로봇들은 이 생각의 과정을 배우지 못해, 현실에서는 엉뚱한 도구를 쓰거나 길을 잃었습니다.

2. 해결책: ToolVQA (현실 세계 요리 레시피 책)

저자들은 ToolVQA라는 새로운 데이터셋을 만들었습니다.

• 23,000 개의 실제 요리 레시피: 실제 사진 (감자, 와인, 지도 등) 과 실제 질문 ("이 맥주를 만든 양조장이 문을 닫은 지 몇 년 됐을까?") 으로 구성되었습니다.
• 복잡한 단계: 단순히 "칼을 써라"가 아니라, "먼저 글자를 읽어라 (OCR) → 그다음 인터넷에서 검색해라 → 계산기를 써서 연차를 구해라"처럼 여러 단계를 거쳐야만 답이 나오는 문제들입니다.
• 다양한 도구: 검색, 계산, 그림 그리기, 글자 인식 등 10 가지 이상의 도구를 7 가지 다른 분야 (지리, 요리, 과학 등) 에서 사용합니다.

3. 핵심 기술: ToolEngine (자동 레시피 생성 공장)

이렇게 방대한 데이터를 사람이 일일이 만들면 너무 오래 걸립니다. 그래서 저자들은 ToolEngine이라는 자동화 시스템을 만들었습니다.

• 미로 찾기 (DFS) + 나침반 (LCS):
  • 로봇이 미로 (문제 해결 과정) 를 찾을 때, 단순히 무작위로 헤매는 게 아니라, **실제 인간이 어떻게 문제를 풀었는지 (실제 예시)**를 참고합니다.
  • LCS (최장 공통 부분 수열) 기술: 로봇이 현재까지 어떤 단계를 밟았는지 보고, 가장 비슷한 실제 인간 사례를 찾아서 "다음에 무엇을 해야 할지"를 추천해 줍니다. 마치 요리할 때 "아까 그 레시피처럼 소금을 조금 더 넣어야겠다"라고 참고하는 것과 같습니다.
• 결과: 이 시스템을 통해 실제 인간처럼 복잡한 사고 과정을 거치는 2 만 3 천 개의 데이터가 자동으로 생성되었습니다.

4. 성과: 로봇이 요리 대가가 되다

이 새로운 레시피 책 (ToolVQA) 으로 로봇 (LLaVA-7B 모델) 을 훈련시켰습니다.

• 놀라운 결과: 훈련된 로봇은 **실제 시험 (ToolVQA)**뿐만 아니라, 본 적 없는 새로운 요리 (다른 데이터셋) 를 할 때도, **유명한 대형 AI(GPT-3.5)**보다 더 잘했습니다.
• 의미: 이 로봇은 이제 단순히 지시를 따르는 기계가 아니라, **도구를 스스로 선택하고, 여러 단계를 거쳐 문제를 해결하는 진정한 '도구 사용 전문가'**가 되었습니다.

📝 한 줄 요약

"실제 사진과 복잡한 상황을 바탕으로, AI 가 여러 도구를 순서대로 써서 문제를 해결하는 법을 가르치는 새로운 '현실 기반 레시피 책 (ToolVQA)'과, 그 책을 자동으로 만드는 '스마트 공장 (ToolEngine)'을 개발했습니다. 이걸로 훈련된 AI 는 이제 복잡한 현실 문제도 잘 해결합니다!"

이 연구는 AI 가 앞으로 우리 생활에서 실제로 유용한 도구가 되기 위해 필요한, 진짜 현실적인 훈련의 중요성을 보여줍니다.

기술 요약

1. 문제 정의 (Problem)

대형 기반 모델 (LFM) 에 외부 도구를 통합하는 것은 AI 의 문제 해결 능력을 향상시키는 유망한 접근법입니다. 그러나 기존 연구와 벤치마크는 다음과 같은 한계를 드러냈습니다.

• 비현실적인 시나리오: 기존 데이터셋은 합성된 이미지나 단순화된 시나리오를 사용하여 실제 세계의 복잡한 시각적 맥락을 반영하지 못합니다.
• 단순화된 추론: 기존 쿼리는 명시적인 도구 사용 지시를 포함하거나 단일 단계 추론만 요구하는 경우가 많아, 실제 사용자가 겪는 암묵적인 다단계 추론 (Multi-step Reasoning) 과정을 평가하기 어렵습니다.
• 데이터 구축의 한계: 고품질의 다단계 도구 사용 데이터를 구축하는 데는 비용이 많이 드는 인간 주석이 필요하거나, 자동화 파이프라인이 생성한 데이터의 정확도가 낮습니다.

이러한 격차를 해소하기 위해 실제 세계의 시각적 컨텍스트와 복잡한 암묵적 다단계 추론이 모두 포함된 새로운 데이터셋과 생성 파이프라인이 필요합니다.

2. 방법론 (Methodology)

저자들은 ToolEngine이라는 새로운 데이터 생성 파이프라인과 이를 통해 구축된 ToolVQA 데이터셋을 제안합니다.

A. ToolEngine (데이터 생성 파이프라인)

ToolEngine 은 주석이 없는 이미지에서 인간과 유사한 도구 사용 추론 경로를 생성하는 자동화 시스템입니다. 세 가지 핵심 구성 요소를 사용합니다.

1. 실제 세계 예제 구성 (Real-World Example Construction):

   • 실제 사용자 요구사항을 반영하기 위해 인간 전문가가 작성한 소수의 실제 도구 사용 예제 (시나리오, 쿼리, 도구 경로) 를 컨텍스트 예제로 활용합니다.
   • 이는 LFM 컨트롤러가 이미지와 도구를 어떻게 연결해야 하는지에 대한 사전 지식을 제공합니다.

2. 이미지 유도 심층 우선 탐색 (Image-guided DFS on Tool Graph):

   • 입력된 이미지를 기반으로 도구 그래프에서 심층 우선 탐색 (DFS) 을 수행하여 다단계 도구 사용 경로를 구성합니다.
   • 각 단계에서 LFM (ChatGPT-4o-latest) 을 컨트롤러로 사용하여 다음 도구와 인자를 선택합니다.
   • 이 과정은 실제 도구 호출을 통해 이미지에서 상세 정보를 추출하고, 이를 바탕으로 질문과 답변을 생성합니다.

3. LCS 기반 예제 매칭 (LCS-based Example Matching):

   • 최장 공통 부분 수열 (Longest Common Subsequence, LCS) 알고리즘을 도입하여, 현재 탐색 중인 경로와 기존 예제들 간의 유사도를 동적으로 계산합니다.
   • 각 탐색 단계에서 가장 관련성이 높은 예제를 매칭하여, 고정된 템플릿의 한계를 극복하고 다양한 시각 정보와 추론 경로를 결합합니다. 이는 다단계 추론의 복잡성과 다양성을 높이는 핵심 요소입니다.

B. ToolVQA 데이터셋

ToolEngine 을 통해 구축된 대규모 멀티모달 데이터셋입니다.

• 규모: 23,000 개 이상의 샘플.
• 구성: 10 가지 멀티모달 도구 (이미지 캡션, OCR, 객체 탐지, 검색, 계산, 차트 그리기 등) 와 7 개의 다양한 도메인.
• 특징: 평균 2.78 단계의 추론 길이를 가지며, 실제 사진과 복잡한 실제 세계 쿼리를 포함합니다.
• 품질 관리: 생성된 데이터의 4,000 개 샘플에 대한 인간 검증 정확도는 90.8% 이며, 테스트 세트는 2,550 개의 인간 재주석 샘플로 구성됩니다.

3. 주요 기여 (Key Contributions)

1. ToolEngine: 주석 없는 이미지에서 합리적인 다단계 도구 사용 경로를 생성하고, 이를 바탕으로 도전적인 질문 - 답변 쌍을 구성하는 새로운 데이터 생성 엔진.
2. ToolVQA: 실제 세계 시나리오와 암묵적 다단계 추론을 모두 포함하는 대규모 멀티모달 도구 사용 데이터셋. 10 개의 도구와 7 개의 도메인을 아우르며, 기존 데이터셋보다 더 포괄적인 벤치마크를 제공합니다.
3. 성능 향상 (Fine-tuning): ToolVQA 로 미세 조정 (Fine-tuning) 된 LLaVA-7B 모델이 공개된 벤치마크와 분포 외 (OOD) 데이터셋에서 대규모 폐쇄형 모델 (GPT-3.5-Turbo) 을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 모델 규모 효과: 모델 파라미터가 커질수록 도구 사용 능력이 향상되지만, ToolVQA 로 미세 조정된 7B 모델 (LLaVA-7B) 은 GPT-3.5-Turbo 와 유사하거나 더 나은 성능을 보입니다.
• 분포 외 (OOD) 일반화: ToolVQA 로 학습된 LLaVA-7B 는 TextVQA, TallyQA, InfoSeek, GTA, TEMPLAMA 등 5 개의 OOD 벤치마크에서 GPT-3.5-Turbo 를 능가하거나 근접한 성능을 보였습니다. 이는 모델이 새로운 도구와 작업에도 잘 일반화됨을 의미합니다.
• 비교 분석:
  • VLM vs LLM: 기존 모델들은 시각 모듈이 도구 사용을 안내하는 데 비효율적이었으나 (VLM+tool < LLM+tool), 미세 조정된 모델은 도구 사용의 이점을 극대화하고 노이즈를 억제하여 VLM+tool 설정에서 가장 좋은 성능을 보였습니다.
  • 병목 현상: 미세 조정된 모델은 도구 선택이나 형식화에서는 우수하지만, 도구의 결과를 이해하고 인자를 예측하거나 답변을 요약하는 능력 (Argument Prediction, Answer Summarization) 에서 여전히 인간보다 낮은 성능을 보이며, 이는 주요 병목 지점입니다.

5. 의의 및 결론 (Significance)

• 실제 세계 적용성: ToolVQA 는 합성된 시나리오가 아닌 실제 세계의 복잡한 맥락과 다단계 추론을 요구하는 데이터셋으로, LFM 의 실제 도구 사용 능력을 평가하는 새로운 표준을 제시합니다.
• 오픈 소스 모델의 경쟁력: 소규모 오픈 소스 모델 (LLaVA-7B) 이 고품질 데이터셋을 통해 미세 조정될 때, 대규모 폐쇄형 모델과 경쟁할 수 있음을 입증했습니다.
• 향후 연구 방향: 도구 사용에서의 다단계 추론, 특히 도구 출력 결과의 동적 이해와 인자 예측 능력 향상이 향후 연구의 핵심 과제로 제시되었습니다.

이 연구는 멀티모달 에이전트가 실제 세계의 복잡한 문제를 해결하기 위해 도구를 효과적으로 활용하는 능력을 평가하고 발전시키는 데 중요한 기반을 마련했습니다.