XSkill: Continual Learning from Experience and Skills in Multimodal Agents

이 논문은 멀티모달 에이전트가 매개변수 업데이트 없이 과거 경험을 바탕으로 지속적으로 학습할 수 있도록 시각적 관찰에 기반한 경험과 기술이라는 두 가지 상보적 지식 스트림을 통합한 'XSkill' 프레임워크를 제안하고, 다양한 벤치마크에서 기존 방법들을 크게 능가하는 성능을 입증합니다.

핵심

XSKILL: 멀티모달 에이전트의 '경험'과 '기술'을 배우는 혁신적인 방법

이 논문은 인공지능 에이전트 (특히 이미지와 텍스트를 모두 이해하는 AI) 가 어떻게 더 똑똑하고 유연하게 문제를 해결할 수 있는지에 대한 새로운 접근법을 소개합니다.

기존의 AI 는 매번 새로운 문제를 만나면 처음부터 다시 고민하거나, 단순히 도구 (이미지 편집, 검색 등) 만 나열하는 데 그쳤습니다. 하지만 XSKILL은 인간처럼 "과거의 실수와 성공에서 배우는" 방식을 도입했습니다.

이걸 쉽게 이해할 수 있도록 요리사와 요리 학교에 비유해 설명해 드릴게요.

---

🍳 비유: 요리사 (AI 에이전트) 와 요리 학교 (XSKILL)

상상해 보세요. 훌륭한 요리사 (AI) 가 있습니다. 하지만 이 요리사는 두 가지 큰 문제가 있습니다.

1. 비효율적인 도구 사용: 간단한 요리를 하려고도 불을 너무 오래 켜거나, 재료를 잘못 고르는 실수를 합니다.
2. 유연성 부족: 레시피가 조금만 바뀌어도 당황해서 요리를 망칩니다.

이제 XSKILL이라는 특별한 요리 학교가 이 요리사를 도와줍니다. 이 학교는 두 가지 종류의 지식을 저장합니다.

1. '기술 (Skills)' = 완성된 레시피북 📖

• 무엇인가요? 특정 요리를 만드는 체계적인 절차입니다. 예를 들어, "생선 구이 만들기"라는 레시피북에는 생선을 손질하는 순서, 양념을 바르는 법, 굽는 시간 등이 단계별로 적혀 있습니다.
• 역할: AI 가 복잡한 문제를 해결할 때, "어떤 순서로 도구를 써야 할지" 큰 그림을 잡아줍니다.
• 예시: "이미지가 뒤집혀 있다면 먼저 회전시키고, 그다음 잘라내서 검색하라"는 **작업 흐름 (Workflow)**을 알려줍니다.

2. '경험 (Experiences)' = 요리사의 팁과 요령 💡

• 무엇인가요? 레시피에는 없는 실전 꿀팁입니다. "생선 비늘을 벗길 때 칼을 너무 세게 대면 살이 찢어지니까 조심해라"거나, "이미지가 어두우면 밝기를 먼저 조절해야 잘 보인다" 같은 구체적인 상황별 조언입니다.
• 역할: AI 가 실시간으로 결정을 내릴 때, "지금 이 상황에서 어떤 행동을 취해야 할지" 즉각적인 도움을 줍니다.
• 예시: "검색 결과가 안 나오면, 원래 이미지를 바로 검색하지 말고 먼저 자른 부분을 검색해 봐라" 같은 전술적 지식입니다.

---

🔄 XSKILL 이 어떻게 작동할까요? (학습 사이클)

XSKILL 은 AI 가 문제를 풀 때마다 두 단계를 반복하며 지식을 쌓아갑니다.

1 단계: 지식 모으기 (축적 단계) 📚

AI 가 문제를 풀 때 여러 번 시도해 봅니다 (Rollout).

• 성공한 경우: "어떻게 성공했지?"를 분석해 **레시피 (기술)**를 정리하고, **팁 (경험)**을 추출합니다.
• 실패한 경우: "왜 실패했지?"를 분석합니다. "아, 이미지를 회전시키지 않아서 못 봤구나!"라는 실패 원인을 기록합니다.
• 중요한 점: 이 모든 분석은 **이미지 (시각적 정보)**를 보고 이루어집니다. 단순히 글자만 읽는 게 아니라, "이미지가 어두워서 실패했다"는 것을 시각적으로 파악합니다.

2 단계: 문제 해결하기 (추론 단계) 🛠️

새로운 문제가 주어지면, AI 는 다음과 같이 행동합니다.

1. 검색: 현재 문제와 비슷한 **레시피 (기술)**와 **팁 (경험)**을 찾아옵니다.
2. 적응: 찾아온 지식을 현재 상황에 맞게 수정합니다. (예: "이 레시피는 일반적인 생선용인데, 지금 건어물이니 이 부분만 수정해야겠다.")
3. 실행: 수정된 지식을 바탕으로 도구를 사용하고 문제를 해결합니다.
4. 피드백: 이번 시도에서 무엇을 썼는지 기록해, 다음에 더 잘 쓸 수 있도록 지식창고를 업데이트합니다.

---

🌟 왜 이것이 중요한가요?

기존의 AI 는 "도구만 주면 스스로 잘할 거야"라고 믿고 있었지만, 실제로는 도구를 어떻게 쓸지 몰라 헤매거나 같은 실수를 반복했습니다.

XSKILL 의 핵심 성과는 다음과 같습니다:

• 학습 없이도 성장: AI 의 두뇌 (모델 파라미터) 를 다시 훈련시킬 필요 없이, 지식창고만 업데이트하면 성능이 계속 좋아집니다.
• 시각적 이해: 이미지 속의 작은 디테일 (어두운 그림자, 뒤집힌 글자 등) 을 보고 실수를 예방합니다.
• 유연한 대응: 단순히 레시피를 따르는 게 아니라, 상황 (팁) 에 따라 유연하게 도구를 조합합니다.

📊 실제 결과

이 방법은 다양한 테스트 (이미지 분석, 웹 검색, 복잡한 추론 등) 에서 기존 최고의 AI 들보다 훨씬 더 높은 정확도를 보였습니다. 특히, 한 번 배운 지식을 다른 새로운 문제에도 잘 적용하는 범용성이 뛰어났습니다.

🎯 결론

XSKILL 은 AI 에게 **"단순히 도구를 주는 것"을 넘어, "도구를 어떻게 쓸지 가르치는 경험과 기술"**을 제공합니다. 마치 초보 요리사가 명품 요리사에게 레시피와 실전 팁을 모두 배워, 어떤 재료가 들어와도 완벽하게 요리를 해내는 것과 같습니다.

이 기술은 AI 가 인간처럼 경험에서 배우고, 실수를 반복하지 않으며, 더 유연하게 사고하는 진정한 '지능'을 갖는 중요한 디딤돌이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

배경:
멀티모달 대형 언어 모델 (MLLM) 기반 에이전트는 다양한 도구를 활용하여 복잡한 추론 작업을 수행할 수 있게 되었습니다. 그러나 오픈 엔디드 (open-ended) 환경에서는 여전히 두 가지 근본적인 병목 현상에 직면해 있습니다.

1. 비효율적인 도구 사용: 에이전트가 간단한 문제에는 과도한 단계를 소비하거나, 복잡한 쿼리에 대해 충분히 깊은 탐색을 하지 못함.
2. 유연하지 않은 도구 오케스트레이션: 기존 시스템이 단일 경로 실행에 국한되어 있으며, 작업 간에 일반화될 수 있는 도구 조합 능력이 부족함.

핵심 문제:
기존의 파라미터 업데이트 (학습) 없이 과거의 실행 궤적 (trajectories) 에서 학습하여 에이전트가 지속적으로 성능을 향상시키는 메커니즘이 부재합니다. 특히, 텍스트 로그만으로는 멀티모달 환경에서 중요한 결정 신호인 **시각적 관찰 (visual observations)**을 충분히 반영하지 못해, 에이전트가 관련 지식을 신뢰성 있게 검색하거나 현재 상황에 적응하는 데 실패합니다.

---

2. 제안 방법론: XSKILL (Methodology)

저자들은 에이전트가 **경험 (Experience)**과 **기술 (Skill)**이라는 두 가지 상호 보완적인 형태의 재사용 가능한 지식을 학습할 것을 제안합니다. 이를 위해 XSKILL이라는 이중 스트림 (dual-stream) 프레임워크를 개발했습니다.

2.1. 지식의 정의

• 기술 (Skill): 작업 수준의 구조화된 가이드. 특정 문제 클래스를 위한 워크플로우, 도구 템플릿, 재사용 가능한 절차를 포함합니다. (Markdown 형식 저장)
• 경험 (Experience): 실행 맥락과 실패 패턴에 기반한 행동 수준의 전술적 지침. 구체적인 도구 선택, 탐색, 오류 복구 등을 위한 간결한 조언을 제공합니다. (JSON 형식 저장)

2.2. 프레임워크 구조 (두 단계)

Phase 1: 지식 축적 (Accumulation)

• 롤아웃 요약 (Rollout Summary): 에이전트가 여러 경로 (multi-path rollouts) 로 작업을 수행한 후, MLLM 이 시각적 관찰 (이미지) 과 텍스트 궤적을 결합하여 요약합니다. 이는 시각 - 의미적 간극 (visual-semantic gap) 을 해소합니다.
• 교차 롤아웃 비판 (Cross-Rollout Critique): 성공한 궤적과 실패한 궤적을 비교 분석하여 인과 관계를 규명하고, 새로운 경험 (Experience) 을 추출하거나 기존 지식을 수정합니다.
• 계층적 통합 (Hierarchical Consolidation): 추출된 지식을 중복 제거하고 일반화하여 지식 베이스 (Skill Library, Experience Bank) 에 저장합니다.

Phase 2: 작업 수행 (Inference)

• 작업 분해 및 검색 (Task Decomposition & Retrieval): 입력된 작업을 하위 작업으로 분해하고, 각 하위 작업에 맞는 관련 지식 (경험 및 기술) 을 시각적 맥락과 매칭하여 검색합니다.
• 맥락 인식 적응 (Context-Aware Adaptation): 검색된 지식을 현재 작업의 시각적 상태 (이미지) 에 맞게 재작성 (Rewrite) 하고 적응시킵니다.
• 주입 및 실행: 적응된 지식을 에이전트의 시스템 프롬프트에 주입하여 실행합니다.
• 지속적 학습 루프: 실제 실행 기록 (사용 이력) 을 다시 Phase 1 로 피드백하여 지식 베이스를 지속적으로 정제합니다.

---

3. 주요 기여 (Key Contributions)

1. 최초의 이중 스트림 프레임워크: 멀티모달 에이전트를 위해 시각적으로 기반을 둔 (visually-grounded) 작업 수준의 '기술'과 행동 수준의 '경험'을 통합한 최초의 프레임워크를 제안했습니다.
2. 파라미터 업데이트 없는 지속적 학습: 모델 재학습 없이 시각 - 도구 상호작용에서 지식을 축적하고 활용하여 에이전트의 도구 사용 효율성과 유연성을 극대화합니다.
3. 강력한 일반화 및 제로샷 성능: 다양한 도메인과 백본 모델에서 기존 학습 기반 베이스라인을 일관되게 능가하며, 훈련되지 않은 새로운 작업 (Zero-shot) 에도 우수한 일반화 능력을 보입니다.

---

4. 실험 결과 (Results)

• 평가 벤치마크: VisualToolBench, TIR-Bench, MMSearch-Plus, MMBrowseComp, AgentVista 등 5 개의 다양한 멀티모달 벤치마크에서 평가되었습니다.
• 백본 모델: Gemini-2.5-Pro, Gemini-3-Flash, GPT-5-mini, o4-mini 등 4 개의 최신 모델에서 테스트되었습니다.
• 성능 향상:
  • 도구만 사용하는 (Tool-only) 베이스라인 대비 Average@4 점수가 모델에 따라 2.58~6.71 포인트 향상되었습니다.
  • 가장 강력한 베이스라인 (Agent-KB 등) 대비 최대 11.13 포인트의 성능 향상을 기록했습니다.
  • Pass@4 지표에서도 일관된 개선을 보여, 에이전트의 신뢰성과 상한선 능력을 모두 향상시킵니다.
• 교차 모델 전이 (Cross-Model Transfer): 한 모델 (Gemini) 에서 축적된 지식을 다른 모델 (GPT, o4-mini) 에 적용했을 때도 성능이 향상되어, 지식이 모델 아키텍처에 종속되지 않음을 입증했습니다.
• Ablation Study:
  • '기술'과 '경험' 중 하나를 제거할 경우 성능이 각각 3.85, 3.04 포인트 하락하여 두 요소 모두 필수적임을 확인했습니다.
  • '기술'은 도구 사용의 오류 (구문 오류, 런타임 오류) 를 줄여 실행 안정성을 높이고, '경험'은 작업별 맥락에 맞는 유연한 도구 선택을 가능하게 합니다.

---

5. 의의 및 결론 (Significance)

XSKILL 은 멀티모달 에이전트의 진화 과정에서 중요한 전환점을 제시합니다.

1. 시각적 기반의 지식 추출: 기존 텍스트 중심의 학습 방식을 넘어, 시각적 관찰을 기반으로 한 지식 추출 및 적응이 멀티모달 에이전트의 성능 향상에 필수적임을 증명했습니다.
2. 실용적이고 확장 가능한 접근: 모델 재학습 (Fine-tuning) 의 높은 비용과 확장성 문제를 해결하며, 인간이 읽을 수 있는 구조화된 지식 (Markdown/JSON) 으로 지식을 외부화하여 투명성과 해석 가능성을 높였습니다.
3. 지속 가능한 에이전트 진화: 새로운 작업을 마주할 때마다 축적된 경험을 바탕으로 스스로를 개선할 수 있는 비파라메트릭 (Non-parametric) 지속 학습 메커니즘을 제공하여, 실제 복잡한 환경에서 자율적으로 진화하는 에이전트 개발의 실현 가능한 경로를 제시했습니다.

결론적으로, XSKILL 은 에이전트가 과거의 성공과 실패로부터 시각적 맥락을 이해하며 학습함으로써, 더 효율적이고 유연하며 견고한 추론 능력을 갖출 수 있게 하는 획기적인 프레임워크입니다.