기술 요약: 검증 가능한 다중 모달 심층 연구를 향하여

문제 정의

대형 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 이 자율 에이전트를 "딥 서치"(간결한 사실적 답변 검색) 에서 "딥 리서치"(산재한 증거를 장문의 보고서로 종합) 로 발전시켰음에도 불구하고, 검증 가능한 다중 모달 심층 연구에서는 여전히 중요한 과제가 남아 있습니다.

본 논문은 현재 시스템의 두 가지 주요 병목 현상을 식별합니다:

1. 개방성: 결정론적 정답이 있는 폐쇄 도메인 작업과 달리, 심층 연구는 개방 도메인에서 다중 라운드 반복 검색을 요구하며, 출력물이 straightforward하게 검증될 수 없습니다. 기존 파이프라인은 종종 단계별 검증을 결여하여 초기 단계의 노이즈가 사실적으로 신뢰할 수 없는 텍스트와 정렬되지 않은 시각 자료로 누적되게 합니다.
2. 다중 모달 인터리빙: 전문적인 보고서는 텍스트 논증과 시각적 증거 (예: 차트, 다이어그램, 스크린샷) 의 긴밀한 통합을 요구합니다. 현재 프레임워크는 종종 이미지 통합을 핵심 연구 구성 요소가 아닌 사후 장식 단계로 취급하여, 시각적 증거가 텍스트 논증과 느슨하게 연결되고 전문적인 인터리빙 표준을 충족하지 못하게 합니다.

기존 접근법은 심층 멀티홉 추론, 광범위한 정보 커버리지, 그리고 신뢰할 수 있는 인터리빙된 이미지 - 텍스트 보고서 생성을 동시에 달성하는 데 어려움을 겪습니다.

방법론: PTAH

저자들은 고대 이집트의 창조 신 Ptah 에서 이름을 딴 PTAH를 제안합니다. 이는 신뢰할 수 있는 다중 모달 심층 연구를 위해 설계된 멀티 에이전트 하네스입니다. 보고서 생성을 단일 문제 (monolithic problem) 로 취급하는 대신, PTAH 는 **계획 (Planning), 연구 (Research), 작성 (Writing)**의 세 가지 명확한 단계를 통해 통제된 실행 워크플로우를 조율하며, 전체 수명 주기에 걸쳐 수용 함수 (acceptance function) 역할을 하는 **검증 에이전트 (Verifier Agent)**에 의해 관리됩니다.

1. 계획 단계: 시각 인식 연구 상태 초기화

• 플래너 에이전트: 도메인 지식을 탐색하기 위해 텍스트 검색 도구를 반복적으로 호출합니다. 이는 고수준 개요, 섹션별 목표, 예상 증거 유형, 그리고 명시적인 시각 사양을 포함하는 구조화된 계획을 생성합니다. 이러한 사양은 시각 요소가 나타날 위치, 그 의사소통 역할, 그리고 필요한 형태 (예: 차트 대 스크린샷) 를 정의합니다.
• 검증: 계획은 이중 검증을 거칩니다:
  • 규칙 기반: 상호작용 프로토콜, 도구 사용 제약 조건, JSON 형식을 확인합니다.
  • LLM 기반: 쿼리 커버리지, 섹션 일관성, 그리고 시각 - 논증 관련성을 평가합니다.
  • 실패한 계획은 진행 전에 수정됩니다.

2. 연구 단계: 병렬 증거 수집 및 시각 작업 기억

• 리서처 에이전트: 각 계획된 섹션에 대해 독립적인 에이전트들이 검색 및 검색 도구를 사용하여 조사를 수행합니다. 그들은 발견 사항, 주장 기반 증거, 수치 데이터, 표, 그리고 참고 문헌을 포함한 구조화된 패키지를 생성합니다.
• 시각 작업 기억 (VWM): 텍스트 수집과 병행하여 연구원들은 방문한 웹페이지에서 이미지를 추출합니다.
  • 필터링: 규칙 기반 필터가 저해상도, 중복, 또는 관련 없는 이미지를 제거합니다.
  • 선택: VLM 기반 선택기가 계획 단계의 시각적 요구 사항에 대해 남은 후보들을 평가합니다.
  • 저장: 유지된 이미지는 소스 URL, 주변 컨텍스트, 관련 섹션, 그리고 의도된 시각적 역할과 함께 저장됩니다. 이는 사후 자산이 아닌 구조화된 교차 모달 상태로서 소스 정렬 자료를 외부화합니다.
• 검증: 검증자는 인용 충실도, 주장 지원, 그리고 시각적 관련성을 확인합니다. 실패한 패키지는 수정을 위해 반환됩니다.

3. 작성 단계: 선언적 다중 모달 구성

• 라이터 에이전트: 글로벌 계획, 검증된 연구 패키지, 그리고 VWM 을 사용하여 최종 보고서를 작성합니다. 임시 삽입 대신, 선언적 다중 모달 구성 전략을 사용하여 텍스트 콘텐츠와 이미지 지시를 함께 생성합니다.
• 이미지 작업: 하네스는 세 가지 작업을 조정합니다:
  1. 이미지 참조: VWM 에서 소스 정렬 이미지를 재사용합니다.
  2. 이미지 검색: VWM 이 불충분할 경우 추가 웹 이미지를 검색합니다.
  3. 이미지 생성: 합성이 필요할 때 코드 실행 또는 생성 모델을 통해 새로운 시각 자료 (차트, 다이어그램) 를 생성합니다.
• 테스트 시간 확장 (TTS): 최종 렌더링 전에 시스템은 6 단계 정제 루프를 적용합니다:
  1. 섹션 정제: 명확성과 증거 커버리지를 개선합니다.
  2. 이미지 정제: 이미지를 유지, 삭제, 또는 편집할지 결정합니다.
  3. 전체 정제: 글로벌 조직과 교차 모달 일관성을 향상시킵니다.
  4. HTML 생성: 보고서를 HTML 로 변환합니다.
  5. HTML 정제: 레이아웃과 스타일을 조정합니다.
  6. 렌더링: 최종 사용자용 보고서를 표시합니다.

평가 프로토콜: PTAHEval

인터리빙된 보고서를 위한 지표의 부재를 해결하기 위해, 저자들은 기존 벤치마크에 두 가지 새로운 차원을 추가한 PTAHEval을 도입합니다:

1. 이미지 콘텐츠 품질 (ICQ): 개별 이미지의 시각적 명확성 (VC), 교차 모달 정렬 (CMA), 정보 보완성 (IC), 그리고 증거 지원 (ES) 을 평가합니다.
2. 다중 모달 프레젠테이션 품질 (MPQ): 렌더링된 웹페이지 (뷰포트) 를 밀도 - 가독성 균형 (DLB), 정보적 saliency (IS), 시각적 인코딩 다양성 (VED), 그리고 시각적 인간 공학 (VE) 관점에서 평가합니다.

실험 결과

실험은 DeepResearch Bench와 DeepConsult에서 수행되었으며, 직접 생성 모델, 텍스트 전용 검색 에이전트 (ReAct, Search-o1, WebThinker), 그리고 다중 모달 베이스라인 (LLM-I) 과 PTAH 를 비교했습니다.

• 전체 콘텐츠 품질: PTAH 는 DeepResearch Bench 에서 45.16 의 최고 전체 점수를 달성하여 통찰력/심도와 가독성에서 앞섰습니다. DeepConsult 에서는 평균 점수 16.18 로 모든 베이스라인을 능가했으며 (다음으로 높은 점수의 두 배 이상), 우수한 성과를 보였습니다.
• 시각적 품질: PTAH 는 ICQ (LLM-I 의 1.97 대비 4.39) 와 MPQ (LLM-I 의 3.00 대비 3.71) 에서 베이스라인을 크게 능가하여 더 명확하고 문맥적으로 관련성이 높은 이미지와 우수한 레이아웃 조직을 입증했습니다.
• 신뢰성: PTAH 는 작업당 9.64 개의 유효 인용을 포함하여 인용 정확도 87.53 을 달성했으며, 종종 유효하지 않거나 환각된 URL 을 방출한 베이스라인을 크게 능가했습니다.
• 인간 평가: 인간 어노테이터들은 가독성 사례의 88.75% 와 정보 획득 효율성 사례의 96.25% 에서 베이스라인보다 PTAH 를 선호했습니다.
• 절차 연구 (Ablation Studies):
  • 검증자를 제거하면 성공적인 작업 완료율이 32% 감소하고 인용 정확도가 크게 떨어졌습니다.
  • **테스트 시간 확장 (TTS)**을 제거하면 전체 점수가 3.03 점 감소하고 이미지 생성 실패가 증가했습니다.
  • 시각 요소를 제거한 경우 (이미지 없는 PTAH) 는 높은 텍스트 품질 (45.10) 을 유지했지만 MPQ 점수 (3.29) 가 하락하여, 시각적 인터리빙이 프레젠테이션 품질을 특히 향상시킨다는 것을 확인했습니다.

중요성과 주장

본 논문은 PTAH가 다음과 같은 방식으로 검증 가능한 다중 모달 심층 연구의 중요한 격차를 해소한다고 주장합니다:

1. 수명 주기 분해: 검사 가능한 중간 산출물을 가진 계획, 연구, 작성 단계로 수명 주기를 분해합니다.
2. 검증 에이전트 도입: 각 단계에서 사실적 근거, 인용 충실도, 그리고 교차 모달 일관성을 강제하여 오류의 누적을 방지합니다.
3. 시각적 증거를 핵심 연구 구성 요소로 취급: 사후 장식이 아닌 시각 작업 기억을 통해 시각적 증거를 핵심 연구 구성 요소로 다룹니다.
4. PTAHEval 도입: 인터리빙된 이미지 - 텍스트 보고서의 품질과 렌더링된 프레젠테이션을 평가하는 데 필요한 지표를 제공하는 프로토콜을 도입합니다.

저자들은 검증과 테스트 시간 확장이 신뢰할 수 있고 전문적으로 인터리빙된 보고서를 생성하는 데 핵심적이며, 그들의 모듈식 멀티 에이전트 접근 방식이 신뢰할 수 있는 다중 모달 생성을 위한 견고한 프레임워크를 제공한다고 결론지었습니다. 그들은 장기 작업에 대한 현재 오픈소스 모델의 추론 능력에 관한 한계를 인정하며, 시스템의 제어 가능성과 신뢰성을 위한 필수적인 절충안으로서의 순차적 단계 설계를 언급합니다.