기술 요약: 멀티모달 이해, 생성 및 편집을 위한 인지 구조적 멀티모달 에이전트

1. 문제 정의

최근의 통합 멀티모달 모델들은 단일 아키텍처 내에서 시각-언어 이해와 이미지 생성/편집 능력을 모두 수행할 수 있음을 입증했습니다. 그러나 이러한 모놀리식(monolithic) 설계는 장기 호라이즌 멀티모달 대화(예: 20회 이상의 턴이 지속되는 다회차 대화)에서 심각한 확장성 한계에 직면해 있습니다.

주요 식별된 과제는 다음과 같습니다:

• 시각적 토큰 폭발(Visual Token Explosion): 모든 과거의 시각적 및 텍ilian 입력을 공유 컨텍스트 창에 반복적으로 주입하면 토큰 사용량이 기하급적으로 증가하여, 추론에 할당될 수 있는 예산을 잠식합니다.
• 불확ous한 교차 턴 참조(Unreliable Cross-Turn Referencing): 확장된 컨텍스트에 대한 암시적 어텐션(attention)에 의존하는 방식은 이전 턴의 특정 시각적 에피소드를 검색하는 모델의 능력을 약화시켜, 검색 오류와 의미적 표류(semantic drift)를 초래합니다.
• 데이터 부족(Data Scarcity): 기존의 멀티모달 대화 데이터셋은 시각적 검색을 위한 미세한 턴 단위의 감독(supervision) 정보가 부족하여, 에이전트가 관련 있는 과거 이미지를 선택적으로 회상하도록 학습시키기 어렵습니다.

현재의 통합 모델들은 (32B 파라미터와 같은) 대규모 모델일지라도, 제안된 벤치마크의 가장 어려운 턴에서 3% 미만의 정확도를 기록하며 난도가 높은 장거리 시나리오에서의 올바른 시각적 에피소드 검색에 어려움을 겪고 있습니다.

2. 방법론

저자들은 모놀리식 스케일링의 한계를 해결하기 위해 인지, 기억, 검색, 실행을 분리하는 인지 구조적 멀티모달 에이전트(Cognitive-structured Multimodal Agent) 프레임워크를 제안합니다. 이 시스템은 시각 정보를 컨텍스트 창의 지속적인 토큰으로 취급하는 대신, 구조화된 메모리 유닛으로 외재화합니다.

핵심 아키텍처

에이전트는 세 가지 전문화된 모듈로 구성됩니다:

1. 지각 추상화 엔진 (PAE): 입력되는 이미지를 처리하여 기술적 캡션, 속성 태그, 압축된 썸네일을 포함한 구조화된 의미적 추상화를 생성합니다. 이는 외부 **에피소드 시각 메모리(EVM)**에 저장됩니다.
2. 인지 검색 엔진 (CoRE): 현재의 대화 상태와 사용자 쿼리를 바탕으로, CoRE는 교차 모달 추론을 수행하여 EVM으로부터 관련 있는 시각적 에피소드만을 검색합니다.
3. 멀티모달 실행 컨트롤러 (MEC): 대화 컨텍스트와 검색된 메모리를 통합합니다. 이는 작업 의도(이해, 생성, 편집, 합성 또는 채팅)를 자율적으로 추론하고, 적절한 동작을 결정하여 특정 생성 또는 편집 모델(예: Qwen-Image-Edit)에 요청을 전달합니다.

학습 및 데이터 구축

기존 데이터셋의 검색 감독 정보 부족을 극러내기 위해 저자들은 다음을 개발했습니다:

• 통합 시나리오 엔진 (Unified Scenario Engine): 미세한 검색 주석이 달린 구조화된 다회차 대화를 생성하는 프로그래밍 가능한 파이프라인입니다. 이는 다양한 시각적 장면과 대화 궤적을 시뮬레이션하며, 어떤 과거의 시각적 에피소드가 각 쿼리에 관련 있는지 자동으로 지정합니다.
• 단계별 SFT + RL 파이프라인:
  • 지도 미세 조정 (SFT): CoRE가 정답(ground-truth) 검색 세트를 기반으로 관련 인덱스를 검색하도록 학습시킵니다.
  • 강화 학습 (RL): DAPO 알고리즘을 활용하여 검색기와 메모리 작성기(PAE)를 모두 최적화합니다. 보상 함수는 전통적인 캡셔닝 메트릭이 아닌, 예측된 검색 세트와 정답 검색 세트 간의 난도 가중치 적용 자카드 유사도(Jaccard similarity)를 기반으로 합니다. 이는 메모리 표현이 다운스트림 검색 성공을 위해 최적화되도록 보장합니다.

벤치마크 구축

저자들은 100개의 세션(각 세션당 20턴, 총 2,000개 턴)으로 구성된 **다회차 컨텍스트 에이전트 벤치마크 (M2CA-Bench)**를 구축했습니다. 이 벤치마크는 시간적 간격, 주제 전환 빈도, 다중 이미지 상호작용, 참조 모호성을 기준으로 턴을 네 가지 난이도(Easy, Medium, Hard, Very Hard)로 계층화합니다. 또한 지름길 학습(shortcut learning)을 방지하기 위해 하드 네거티브(유사도가 높은 혼동 요소)를 포함합니다.

3. 주요 기여

1. 인지 구조적 에이전트 아키텍처: 시각적 이력을 에피소드 메모리로 외재화하고 모듈형 의사결정을 통해 자율적 작업 추론을 가능하게 하는 장기 호라이즌 대화를 위한 새로운 프레임워크입니다.
2. 통합 시나리오 엔진: 턴 단위의 검색 감독 정보를 가진 구조화된 다회차 멀티모달 대화를 프로그래밍 방식으로 생성하는 도구로서, 학습 데이터의 중요한 공백을 메웁니다.
3. M2CA-Bench: 지속적인 멀티모달 상호작용에서 교차 턴 시각 검색 및 에피소드 메모리를 평가하기 위해 설계된 특화된 벤치마크입니다.
4. 최적화 기술: 단계별 SFT 및 RL을 적용하여 지각 추상화 및 검색 정책을 최적화함으로써, 더 작은 8B 모델이 더 큰 규모의 통합 베이스라인을 능가할 수 있도록 합니다.
5. CMA-Harness: 지속적인 멀티모달 메모리, 웹 접속, 이미지 생성/편집/합성 도구 및 OpenAI 호환 서빙을 통합하여 인지 구조를 도구 증강 방식으로 배포하는 도구입니다.

4. 실험 결과

실험은 8B 에이전트(Qwen3-VL-8B 백본)를 사용하여 통합 베이스라인(BAGEL) 및 모듈형 베이스라인(8B/32B All-Context 에이전트)과 비교하여 M2CA-Bench에서 수행되었습니다.

• 검색 정확도: 8B 인지 구조적 에이전트는 20턴 영어 세션에서 **91.4%**의 검색 정확도를 달성하여, 가장 강력한 32B All-Context 베이스라인보다 +8.2% 높은 성능을 보였습니다. "Hard" 서브셋(장거리 콜백 및 복잡한 참조)에서는 그 격차가 **+18.4%**까지 벌어졌습니다.
• 효율성: 관련 있는 시각적 에피소드만을 검색함으로써, 에이전트는 시각적 토큰 사용량을 낮게 유지하면서도 턴당 추론 시간을 거의 절반으로 줄였습니다(32B All-Context 베이스라인의 23.1초 대비 12.7초).
• 생성 품질: 에이전트는 가장 높은 생성 품질 점수(8.49 EN / 8.53 CN)를 기록했으며, 성능 향상은 검색 정확도 개선과 직접적인 상관관계를 보였습니다.
• 어블레이션 연구 (Ablation Studies):
  • 단계별 학습(SFT + RL)은 성능을 크게 향상시켰으며, PAE에 대한 RL은 Hard 서브셋에서 4.6%의 추가 이득을 제공했습니다.
  • 텍스트 전용 메모리 어블레이션(썸네일 제거)은 어려운 턴에서 성능이 급격히 하락(~24-39%)하여, 미세한 회상을 위해 시각적 메타데이터가 필수적임을 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 구조화된 메모리와 모듈형 의사결정이 모놀리식 파라미터 스케일링보다 장기 호라이즌 멀티모달 에이전트를 위한 더 확장 가능하고 효율적인 패러다임을 제공한다고 주장합니다.

저자들이 강조한 핵심 요점은 다음과 같습니다:

• 확장성 (Scalability): 시각적 이력을 외재화함으로써 컨텍스트 창 확장과 관련된 기하급수적인 토큰 비용 없이 장기적인 일관성을 유지할 수 있습니다.
• 효율성 (Efficiency): 실행 컨트롤러를 검색 엔진과 분리함으로써 독립적인 스케일링과 최적화가 가능하며, 성능-지연 시간 트레이드오프를 위해 중요한 곳에 모델 용량을 할당할 수 있습니다.
• 실용성 (Practicality): CMA-Harness는 이 아키텍처가 웹 검색 및 복잡한 이미지 합성을 포함한 개방형 멀티모달 워크플로우를 처리할 수 있는 기능적이고 도구 증강된 어시스턴트로 배포될 수 있음을 보여줍니다.

저자들은 통합 모델이 단일 턴 작업에는 뛰어나지만 지속적인 상호작용에는 불충분하며, 차세대 멀티모달 에이전트를 위해서는 명시적인 메모리 관리가 필수적이라고 결론지었습니다.