OmniGAIA: Towards Native Omni-Modal AI Agents

이 논문은 비전, 오디오, 언어를 통합한 심층 추론과 도구 사용을 평가하기 위한 벤치마크 'OmniGAIA'와 이를 기반으로 한 원천 오모달 에이전트 'OmniAtlas'를 제안하여 차세대 범용 AI 어시스턴트 개발을 위한 중요한 진전을 이루었다고 요약할 수 있습니다.

핵심

🌍 오미 GAIA (OmniGAIA): 모든 감각을 가진 AI 비서의 탄생

이 논문은 인공지능이 인간처럼 눈, 귀, 입을 모두 자유롭게 쓰며 복잡한 문제를 해결할 수 있도록 돕는 새로운 기준과 기술을 소개합니다. 마치 "보이지 않는 것까지 보고, 들리지 않는 소리까지 듣는" 초능력을 가진 AI 비서를 만드는 여정이라고 생각하시면 됩니다.

이 내용을 쉽게 설명하기 위해 세 가지 핵심 이야기로 나누어 보겠습니다.

---

1. 🕵️‍♂️ 문제: "반쪽짜리" AI 비서들

지금까지의 AI 비서들은 대부분 **눈 (영상/이미지) 과 입 (텍스트)**만 사용하는 '반쪽짜리'였습니다. 예를 들어, "이 영상에서 들리는 소리를 듣고 이 장소를 찾아줘"라고 하면, 영상은 볼 수 있어도 소리를 제대로 분석하지 못해 엉뚱한 답을 내놓거나, "이 노래 가사를 보고 작곡가를 찾아줘"라고 하면 가사는 읽을 수 있지만 멜로디를 못 알아듣는 식이죠.

하지만 인간은 영화를 볼 때 화면의 상황, 배우의 목소리 톤, 배경음악, 그리고 대본을 모두 종합해서 이해합니다. 이 논문은 "AI 도 이렇게 **모든 감각 (오미모달)**을 동시에 써야 진짜 똑똑한 비서가 될 수 있다"고 말합니다.

2. 🗺️ 지도 만들기: '오미 GAIA'라는 미로

새로운 AI 를 시험하려면 아주 까다로운 시험지가 필요합니다. 저자들은 **'오미 GAIA (OmniGAIA)'**라는 새로운 시험지를 만들었습니다.

• 시험지 특징:
  • 복잡한 미로: 단순히 "이게 뭐야?"를 묻지 않습니다. "이 영상 속 남자가 언급한 다리가 영화 <블루스 브라더스>에 나오는 다리를 닮았는데, 그 다리가 영화 촬영 당시 몇 살이었을까?"처럼 영상, 소리, 웹 검색, 계산을 모두 섞어 3~4 단계로 이어지는 미로 같은 문제를 냅니다.
  • 실제 데이터: 실제 유튜브 영상, 뉴스, 다큐멘터리에서 가져온 진짜 소리들과 영상을 사용합니다.
  • 도구 사용 필수: AI 는 혼자서 답을 지어내면 안 됩니다. 구글 검색, 코드 실행기 같은 외부 도구를 직접 써서 사실을 확인해야만 점수를 받습니다.

비유하자면: 기존 시험지는 "사진을 보고 사물을 맞추는 퀴즈"였다면, 오미 GAIA 는 "현장 (영상/소리) 을 조사하고, 도서관 (웹) 에서 자료를 찾아서, 계산기를 두드려서 최종 보고서를 쓰는 수사관 훈련"과 같습니다.

3. 🚀 해결책: '오미 아틀라스 (OmniAtlas)'라는 새로운 비서

이 까다로운 시험지를 통과할 수 있는 새로운 AI 비서, **'오미 아틀라스 (OmniAtlas)'**를 개발했습니다.

• 능동적인 관찰 (Active Perception):
  • 기존 AI 는 긴 영상을 볼 때 "다 보자"라고 하며 전체를 한 번에 훑어보다가 중요한 디테일을 놓칩니다. (비유: 책을 다 읽으려다 중요한 줄을 넘겨버림)
  • 오미 아틀라스는 "여기가 좀 안 보이네? 이 부분만 다시 확대해서 봐야겠다"라고 생각하며 필요한 부분만 다시 보고, 필요한 소리만 다시 듣습니다. (비유: 수사관이 증거가 의심스러운 부분만 다시 확대해서 살피는 것)
• 실수 교정 훈련 (OmniDPO):
  • AI 가 길을 잃고 헤맬 때, "왜 틀렸지?"라고 분석해서 정확히 어디서 실수했는지 찾아내고, 그 부분만 다시 가르치는 훈련을 시켰습니다.

---

📊 결과는 어땠나요? (현실적인 평가)

• 아직 갈 길이 멀다: 가장 똑똑한 상용 AI(구글 제미니) 가 이 시험에서 62.5 점 정도를 받았습니다. 하지만 오픈소스 모델들은 13 점 정도밖에 못 받아, 차이가 매우 큽니다.
• 크기만 키우면 안 된다: 모델의 크기 (파라미터) 를 무작정 키우는 것만으로는 해결되지 않습니다. 도구를 어떻게 잘 쓰느냐가 핵심입니다.
• 오미 아틀라스의 성과: 기존 오픈소스 모델에 이 훈련 방법을 적용하자 점수가 13 점에서 20 점으로 크게 올랐습니다. 특히 도구를 잘못 쓰는 실수가 많이 줄어들었습니다.

💡 핵심 교훈: "도구가 있다고 해서 다 해결되는 건 아니다"

논문의 마지막 사례 연구는 아주 흥미롭습니다.

• 실패 사례 1: 도구를 아예 쓰지 않고 기억만 믿고 엉뚱한 답을 냄.
• 실패 사례 2: 도구를 썼지만, 처음에 잘못된 가설 (시작점) 을 가지고 검색해서, 잘못된 정보만 계속 찾아내는 '확증 편향'에 빠짐.
• 성공 사례: "일단 현장 (영상) 을 정확히 파악하고, 그걸 바탕으로 정확한 검색어를 만들어서 사실을 확인한 뒤 계산"하는 과정을 거침.

🎉 결론

이 논문은 **"AI 가 진짜 세상을 이해하려면, 눈과 귀를 동시에 열고, 필요한 때엔 도구를 꺼내 써야 한다"**는 것을 증명했습니다. 오미 GAIA 는 그 능력을 측정하는 자자한 척도가 되고, 오미 아틀라스는 그 능력을 키우는 새로운 훈련법입니다.

앞으로 우리가 만날 AI 비서들은 단순히 "대답"만 하는 것이 아니라, **현장을 조사하고, 자료를 찾고, 논리적으로 결론을 내는 진짜 '비서'**가 될 수 있을 것입니다! 🕵️‍♂️🎧📹

기술 요약

OmniGAIA: Towards Native Omni-Modal AI Agents 기술 요약

이 논문은 인간 지능이 시각 (비디오/이미지), 청각 (오디오), 언어를 통합하여 복잡한 추론과 도구 사용을 수행하는 방식을 모방한 네이티브 오모니 - 모달 (Omni-Modal) AI 에이전트의 발전을 위한 새로운 벤치마크와 에이전트 아키텍처를 제안합니다.

1. 문제 정의 (Problem)

• 현황: 현재의 멀티모달 LLM 은 주로 비주얼 - 언어 (Vision-Language) 또는 오디오 - 언어 (Audio-Language) 와 같은 이중 모드 (Bi-modal) 상호작용에 국한되어 있습니다.
• 한계: 실제 세계의 복잡한 작업은 비디오, 오디오, 텍스트가 얽힌 오모니 - 모달 (Omni-modal) 환경에서 장거리 추론 (Long-horizon reasoning) 과 외부 도구 (웹 검색, 코드 실행 등) 의 다중 턴 사용을 요구합니다. 기존 벤치마크는 주로 지각 (Perception) 중심이거나 단일 모드에 치중하여, 이러한 통합된 인지 능력을 평가하지 못합니다.
• 필요성: 진정한 범용 AI 어시스턴트를 구축하기 위해서는 모달리티 간 통합 지각, 도구 통합 추론, 그리고 검증 가능한 개방형 답변 생성이 가능한 에이전트가 필요합니다.

2. 방법론 (Methodology)

가. OmniGAIA 벤치마크 구축

• 데이터 구성: 9 개의 실제 도메인 (지리, 역사, 기술 등) 에 걸쳐 360 개의 과제로 구성되었으며, 비디오 + 오디오 및 이미지 + 오디오 설정을 모두 포함합니다.
• 구축 파이프라인 (Event-Graph-Driven):
  1. 데이터 수집 및 신호 추출: 원본 미디어에서 미세한 신호 (OCR, 객체 인식, ASR, 이벤트 감지 등) 를 추출합니다.
  2. 이벤트 그래프 구축: 추출된 정보를 기반으로 엔티티/이벤트와 모달리티 간 관계를 연결하는 초기 이벤트 그래프를 생성합니다.
  3. 에이전트 기반 그래프 확장: 외부 도구 (웹 검색, 브라우저, 코드 실행기 등) 를 사용하여 그래프의 다음 단계 증거 (Next-hop evidence) 를 능동적으로 탐색하고 확장합니다.
  4. 이벤트 퍼지화 (Event Fuzzification): 그래프의 핵심 노드/에지를 모호하게 처리하여 단순한 사실 조회가 아닌, 다중 홉 (Multi-hop) 추론과 도구 사용이 필수적인 질문을 생성합니다.
  5. 품질 검증: LLM 스크리닝과 인간 검증을 통해 문제의 난이도, 유일성, 해결 가능성을 확인합니다.

나. OmniAtlas 에이전트

• 개요: 네이티브 오모니 - 모달 파운데이션 에이전트로, 도구 통합 추론 (Tool-Integrated Reasoning, TIR) 패러다임을 따릅니다.
• 능동적 지각 (Active Omni-Modal Perception): 긴 비디오나 고해상도 이미지를 전체적으로 다운샘플링하는 대신, 에이전트가 필요한 특정 구간 (세그먼트) 이나 영역을 선택적으로 "보거나" "듣는" (read_video, read_audio, read_image 툴) 기능을 지원합니다.
• 학습 전략:
  1. 가이드드 트리 탐색 (Hindsight-Guided Tree Exploration): DeepSeek-V3.2 를 사용하여 성공적인 도구 통합 궤적 (Trajectory) 을 합성하고, 검증기를 통해 잘못된 분기를 제거합니다.
  2. 궤적 수준 지도 학습 (Trajectory-Level SFT): 에이전트의 사고와 행동 토큰에만 손실을 적용하여 도구 관찰값을 암기하지 않도록 합니다.
  3. OmniDPO (Fine-Grained Error Correction): 실패한 궤적에서 첫 번째 오류를 식별하고 수정된 접두사를 생성하여 선호도 최적화 (Preference Optimization) 를 수행함으로써 미세한 오류를 교정합니다.

3. 주요 기여 (Key Contributions)

1. OmniGAIA 벤치마크: 비디오/이미지/오디오 입력, 다중 도메인, 다중 홉 추론, 다중 턴 도구 사용, 개방형 답변을 요구하는 최초의 포괄적인 오모니 - 모달 에이전트 벤치마크를 제안했습니다.
2. 확장 가능한 구축 파이프라인: 이벤트 그래프 기반의 자동화 프로세스를 통해 실제 데이터에서 복잡하지만 해결 가능한 과제를 체계적으로 합성하는 방법을 제시했습니다.
3. OmniAtlas 에이전트 및 학습 레시피: 능동적 지각과 도구 통합 추론을 결합한 에이전트와, 이를 효과적으로 훈련시키기 위한 SFT 및 OmniDPO 기반의 실용적인 학습 방법을 제안했습니다.
4. 종합적 평가 및 분석: 기존 모델의 한계를 드러내는 상세한 오류 분석 (지각, 추론, 도구 사용 실패 등) 과 툴 호출 분포 분석을 통해 향후 연구 방향을 제시했습니다.

4. 실험 결과 (Results)

• 벤치마크 난이도: OmniGAIA 는 현재 모델들에게 매우 도전적입니다. 최강의 독점 모델인 Gemini-3-Pro가 **62.5 (Pass@1)**를 기록한 반면, 최강의 오픈소스 기반 모델인 Qwen3-Omni는 13.3에 그쳤습니다.
• 파라미터 스케일링의 한계: 모델 크기만 늘리는 것 (예: LongCat-Flash-Omni 560B) 은 성능 향상을 보장하지 않으며, 도구 사용 정책과 에이전트적 추론 능력이 핵심 병목임을 보여줍니다.
• OmniAtlas 의 효과: OmniAtlas 학습 레시피를 적용한 Qwen3-Omni는 13.3 에서 20.8로 성능이 크게 향상되었습니다. 특히 작은 규모의 백본 모델 (Qwen2.5-Omni-7B) 에서 약 3.7 배 (3.6 → 13.3) 의 개선을 보였습니다.
• 오류 분석: 실패의 주요 원인은 도구 사용의 비효율성 (Ineffective Tool-use) 과 추론 오류 (Reasoning Error) 였으며, 지각 오류는 여전히 중요한 병목 현상이었습니다.
• 네이티브 vs 도구 기반 지각: 강력한 에이전트 (Gemini-3) 에게는 네이티브 지각이 최상이었으나, 약한 에이전트에게는 도구 기반 지각이 도움이 될 수 있었습니다. 그러나 도구 기반 지각은 상호작용 비용을 증가시키고 장기 추론에는 한계가 있었습니다.

5. 의의 및 결론 (Significance)

이 연구는 범용 AI 어시스턴트 개발을 위한 중요한 이정표입니다. 단순히 모달리티를 통합하는 것을 넘어, 장기적인 추론과 외부 도구의 능동적 활용이 실제 세계 문제 해결의 핵심임을 입증했습니다. OmniGAIA 는 이러한 능력을 평가하는 표준을 제시하고, OmniAtlas 는 오픈소스 모델의 에이전트 능력을 획기적으로 향상시킬 수 있는 구체적인 방법론을 제공합니다. 향후 연구는 오모니 - 모달 에이전트 강화학습 (RL), 확장 가능한 도구 서비스 (MCP), 그리고 물리적 세계에서의 embodied 에이전트 개발로 이어질 것으로 기대됩니다.