Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills

본 논문은 사전 학습 이후 에이전트와 도구의 적응을 포괄하는 4 가지 패러다임 (A1, A2, T1, T2) 프레임워크를 제시하며, 후학습, 메모리, 기술 시스템에 대한 연구 동향을 통합적으로 분석하고 평가 기준 및 향후 과제를 정리합니다.

핵심

이 논문은 **"인공지능 에이전트 **(AI 에이전트)에 대한 거대한 지도를 그려낸 연구입니다.

과거의 AI 는 단순히 "질문하면 답해주는" 챗봇 수준이었습니다. 하지만 요즘 AI 는 **도구를 사용하고, 기억을 더하며, 스스로 계획을 세워 복잡한 일을 해결하는 '에이전트'**로 진화하고 있습니다. 이 논문은 이런 AI 가 더 똑똑해지기 위해 어떤 방식을 취하는지 4 가지 유형으로 나누어 정리했습니다.

이 복잡한 내용을 **가상의 '요리사 **(AI)로 비유해서 쉽게 설명해 드릴게요.

---

🍳 핵심 비유: "요리사 (AI) 와 주방 도구들"

여기서 AI 에이전트는 요리를 하는 주방장이고, 도구는 칼, 냄비, 레시피 책, 냉장고 같은 주방 용품들입니다.
이제 이 주방장이 더 훌륭한 요리를 하려면 어떻게 해야 할까요? 두 가지 큰 길이 있습니다.

1. **주방장 **(AI)
2. **도구 **(Tool)

논문은 이 두 가지 길에서 신호 (피드백) 가 어디에서 오는지에 따라 4 가지 전략을 정의했습니다.

---

🧭 4 가지 적응 전략 (The 4 Paradigms)

1. A1: "칼질 실력"을 도구 결과로 배우기 (Tool Execution Signaled)

• 상황: 주방장이 칼을 들고 채소를 썰어요.
• 학습 방식: "아, 이 채소가 잘게 잘렸네! (도구 실행 성공)" 혹은 "아, 칼이 미끄러져서 손가락을 다쳤네 (실패)"라는 도구의 직접적인 결과를 보고 배우는 것입니다.
• 예시: 코드를 짜서 실행했을 때 "오류가 없다"는 메시지가 나오면 "잘했다"고 배우는 방식입니다.
• 장점: 매우 구체적이고 정확한 피드백을 받아 실력이 빠르게 늡니다.
• 단점: 전체적인 요리 (문제 해결) 가 잘 됐는지보다는, 도구 사용법 (칼질) 에만 집중할 수 있습니다.

2. A2: "요리 완성도"로 배우기 (Agent Output Signaled)

• 상황: 주방장이 모든 재료를 다 넣고 요리를 완성합니다.
• 학습 방식: "음, 이 요리를 먹어보니 맛이 있네! (최종 결과 성공)" 혹은 "맛이 없네 (실패)"라는 최종 결과를 보고 배우는 것입니다.
• 예시: 검색을 여러 번 하고 최종 답변을 냈을 때, 그 답변이 정답이면 "잘했다"고 배우는 방식입니다.
• 장점: 도구 사용법뿐만 아니라 '언제 도구를 써야 할지', '어떻게 조합할지' 같은 **큰 그림 **(전략)을 배웁니다.
• 단점: "왜 실패했지?"를 알기 어렵습니다. (칼질 실력 때문일까, 레시피 때문일까?) 학습에 많은 데이터와 시간이 필요합니다.

3. T1: "만능 도구"를 미리 준비하기 (Agent-Agnostic Tool Adaptation)

• 상황: 주방장은 그대로 두고, 주방 용품 자체를 업그레이드합니다.
• 학습 방식: 어떤 주방장이 쓰든 상관없이, 칼이 더 날카롭고 냄비가 더 잘 끓이도록 도구 자체를 훈련시킵니다.
• 예시: "검색 엔진"이라는 도구를 AI 가 쓰든 사람이 쓰든 더 정확하게 정보를 찾아오도록 미리 훈련해 두는 것입니다.
• 장점: 주방장 (AI) 을 바꿀 필요 없이 도구만 갈아끼면 되니 비용이 적게 듭니다.
• 단점: 특정 주방장의 스타일에 맞춰진 것은 아닙니다.

4. T2: "주방장에게 맞춰진 도구"를 만들기 (Agent-Supervised Tool Adaptation)

• 상황: 주방장은 그대로 두고, 그 주방장에게 딱 맞는 도구를 만듭니다.
• 학습 방식: "이 주방장은 칼을 쓸 때 힘이 약하네, 그래서 이 칼을 더 가볍게 만들어야겠다"처럼, 고정된 주방장의 행동을 보고 도구를 최적화합니다.
• 예시: AI 가 검색을 잘 못하면, AI 가 "이런 정보를 원해"라고 알려주는 신호를 받아 검색 엔진 (도구) 이 그 AI 에게 딱 맞는 결과를 찾도록 훈련시킵니다.
• 장점: 데이터 효율이 매우 좋습니다. AI 전체를 다시 가르치지 않아도, 작은 도구만 훈련하면 AI 의 성능이 비약적으로 좋아집니다.
• 단점: 그 도구로 다른 주방장 (다른 AI) 을 쓰면 효과가 떨어질 수 있습니다.

---

💡 이 논문이 우리에게 알려주는 중요한 점들

1. 무엇을 고칠지 정하는 것이 중요해요:

   • "칼질 실력"이 부족하면 A1(도구 실행 신호)으로 훈련하세요.
   • "어떻게 요리할지 전략"이 부족하면 A2(최종 결과 신호)로 훈련하세요.
   • "도구 자체가 나빠서"라면 T1(만능 도구)을 쓰세요.
   • "내 AI 에게 딱 맞는 도구"가 필요하다면 T2(맞춤형 도구)가 가장 효율적입니다.

2. T2 가 대세일 수 있어요:

   • AI 전체를 다시 훈련시키는 (A1/A2) 것은 비용이 너무 많이 듭니다.
   • 대신 **작은 도구 **(T2)만 훈련시켜서 AI 가 더 똑똑하게 일하게 하는 방식이 데이터도 적게 들고, 비용도 절약되면서 성능은 비슷하거나 더 좋습니다. (예: 검색 에이전트만 훈련시켜서 AI 의 검색 능력을 70 배 더 효율적으로 만든 사례)

3. **기억과 기술 **(Skills)

   • AI 가 경험을 쌓아 '기억'을 만들거나, 반복되는 작업을 '기술 (Skill)'로 저장해 두는 것도 결국 T2(도구 적응)의 일종입니다. AI 는 변하지 않고, 그 기억과 기술만 업데이트되는 것이죠.

4. 미래는 '함께 진화'하는 것:

   • 앞으로는 AI(주방장) 와 도구(주방용품) 가 서로를 보고 함께 진화하는 **공동 적응 **(Co-adaptation) 시대가 올 것입니다. 하지만 지금은 한쪽을 고정하고 다른 쪽을 훈련시키는 방식이 더 안전하고 효율적입니다.

🎯 한 줄 요약

"AI 를 더 똑똑하게 만들려면, AI 자체를 무식하게 훈련시키기보다, AI 가 쓰는 '도구'와 '기억'을 AI 에게 맞춰서 똑똑하게 만들어주는 것이 훨씬 빠르고 경제적이다."

이 논문은 바로 그 '도구와 기억을 어떻게 최적화할지'에 대한 최고의 가이드북입니다.

기술 요약

1. 문제 제기 (Problem)

기존의 LLM 에이전트는 프롬프트 엔지니어링에 의존하거나 단일 모델의 능력을 극대화하는 데 초점을 맞추었습니다. 그러나 ChatGPT, DeepSeek, OpenClaw 등 최신 시스템들은 에이전트가 **도구 사용 (Tool Use), 기억 (Memory), 그리고 재사용 가능한 기술 (Skills)**을 통해 진화하고 있음을 보여줍니다.
하지만 현재 연구 분야는 후속 학습 (Post-training), 검색/기억 시스템, 기술 라이브러리 등이 분산되어 있어, 에이전트와 도구 간의 상호작용을 포괄적으로 이해하고 체계화할 수 있는 통합된 프레임워크가 부족했습니다. 또한, 에이전트 자체를 수정할지, 아니면 에이전트가 사용하는 도구를 수정할지에 대한 명확한 기준과 트레이드오프 분석이 필요했습니다.

2. 방법론 및 프레임워크 (Methodology)

저자들은 에이전트 적응을 **"무엇을 적응시키는가 (Agent vs. Tool)"**와 **"어떤 신호로 적응시키는가 (Execution Signal vs. Output Signal)"**라는 두 가지 축을 기반으로 4 가지 패러다임으로 분류하는 통합 프레임워크를 제안했습니다.

4 가지 적응 패러다임 (The 4-Paradigm Framework)

1. A1: 도구 실행 신호 기반 에이전트 적응 (Tool Execution Signaled Agent Adaptation)
   • 개념: 에이전트가 호출한 도구의 실행 결과 (예: 코드 실행 성공/실패, 검색 점수, API 반환값) 를 직접적인 보상 신호로 사용하여 에이전트 모델을 최적화합니다.
   • 방법: 감독 학습 (SFT) 또는 검증 가능한 보상 강화 학습 (RLVR).
   • 특징: 인과적 피드백이 명확하고 밀도가 높으나, 도구 사용 메커니즘 자체에 집중하여 전체적인 전략적 추론은 놓칠 수 있습니다.
2. A2: 에이전트 출력 신호 기반 에이전트 적응 (Agent Output Signaled Agent Adaptation)
   • 개념: 에이전트의 최종 출력 (답변, 계획, 추론 과정) 의 품질을 평가하여 에이전트 모델을 최적화합니다.
   • 방법: 최종 답변의 정확도나 선호도에 기반한 SFT 또는 RL.
   • 특징: 전체적인 작업 성공률과 전략적 도구 사용을 학습하지만, 신호가 희소 (Sparse) 하여 신용 할당 (Credit Assignment) 이 어렵고 데이터 효율성이 낮을 수 있습니다.
3. T1: 에이전트 무관 도구 적응 (Agent-Agnostic Tool Adaptation)
   • 개념: 고정된 (Frozen) 에이전트를 위해 외부 도구 (검색기, 서브 에이전트, 메모리 모듈 등) 를 독립적으로 학습시킵니다.
   • 방법: 에이전트와 무관하게 다양한 데이터로 사전 학습된 모듈을 플러그 앤 플레이 방식으로 사용합니다.
   • 특징: 모듈성과 재사용성이 높고 비용이 낮지만, 특정 에이전트의 추론 스타일에 최적화되지 않을 수 있습니다.
4. T2: 에이전트 감독 도구 적응 (Agent-Supervised Tool Adaptation)
   • 개념: 고정된 에이전트의 출력이나 피드백을 감독 신호로 사용하여 도구 (검색기, 메모리, 서브 에이전트) 를 학습시킵니다.
   • 방법: 에이전트가 생성한 최종 결과의 품질을 기반으로 도구의 행동을 조정 (예: 검색 질의 개선, 메모리 정리).
   • 특징: 에이전트 재학습 없이 도구만 업데이트하여 데이터 효율성이 매우 높고, 에이전트와 도구의 시너지를 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 통합된 2x2 프레임워크: 에이전트 적응 (A1, A2) 과 도구 적응 (T1, T2) 을 구분하고, 각 패러다임의 비용, 유연성, 일반화 능력을 체계적으로 비교 분석했습니다.
2. 기억 (Memory) 과 기술 (Skills) 의 체계적 분석: 에이전트의 기억 시스템 (episodic buffer, 지식 그래프 등) 과 재사용 가능한 기술 라이브러리가 어떻게 T2 적응 메커니즘으로 구현되는지, 그리고 A1/A2 후속 학습과 어떻게 연결되는지 설명했습니다.
3. 다차원 평가 프레임워크: 기존 벤치마크가 주로 A2(최종 답변 정확도) 에 치중되어 있음을 지적하고, A1(도구 실행 지표), T1/T2(도구 기여도) 에 맞는 평가 지표와 역동성 (학습 곡선, 안정성, 안전성) 을 포함한 새로운 평가 체계를 제안했습니다.
4. 도메인별 패러다임 매핑: 심층 연구 (Deep Research), 소프트웨어 개발, 컴퓨터 사용, 신약 개발 등 주요 응용 분야별로 어떤 적응 패러다임이 지배적인지 분석했습니다.
5. 미래 과제 제시: 에이전트 - 도구 공동 적응 (Co-adaptation), 지속적 학습 (Continual Learning), 안전성 (Safety), 효율적 배포 (Efficient Adaptation) 등의 열린 문제를 제시했습니다.

4. 주요 결과 및 통찰 (Results & Insights)

• 데이터 효율성 (Data Efficiency): T2 패러다임은 에이전트 전체를 학습시키는 A2 방식에 비해 훨씬 적은 데이터로 동등하거나 더 나은 성능을 달성할 수 있음을 사례 연구 (예: 검색 에이전트 s3 vs Search-R1) 를 통해 보였습니다. T2 는 고정된 에이전트의 지식을 활용하고 도구만 학습하므로 학습 부담이 적습니다.
• 신호 밀도의 중요성: A1 패러다임은 코드 실행이나 수학적 증명처럼 검증 가능한 밀도 높은 신호가 있는 분야에서 탁월한 성능을 보입니다. 반면, A2 는 신호가 희소한 복잡한 추론 작업에 필수적입니다.
• 모듈성 vs. 단일성: 에이전트 중심 (A1/A2) 접근법은 높은 유연성을 제공하지만 재학습 비용이 크고 망각 (Forgetting) 위험이 있습니다. 도구 중심 (T1/T2) 접근법은 모듈화와 핫스왑 (Hot-swapping) 을 가능하게 하여 시스템 진화에 유리합니다.
• 졸업 생명주기 (Graduation Lifecycle): A1/A2 로 학습된 에이전트가 숙련되면 고정되어 T1 도구 (서브 에이전트) 로 재사용될 수 있으며, 이는 도구 생태계를 풍부하게 만드는 순환 구조를 형성합니다.

5. 의의 및 중요성 (Significance)

이 논문은 에이전트 AI 연구의 분산된 지식을 통일된 어휘와 프레임워크로 통합했다는 점에서 큰 의의가 있습니다.

• 연구 방향 제시: 단순히 모델 크기를 키우는 것을 넘어, 에이전트와 도구의 상호작용을 어떻게 최적화할지에 대한 전략적 선택 (어떤 패러다임을 언제 사용할 것인가) 을 제공합니다.
• 실용적 가이드: 비용, 데이터 가용성, 작업의 복잡성에 따라 A1/A2/T1/T2 중 어떤 접근법이 적합한지 실무자에게 가이드를 제공합니다.
• 안전성과 효율성 강조: 적응 과정에서의 안전성 (Reward Hacking, Unsafe Exploration) 과 효율성 (On-device adaptation) 문제를 부각시켜, 실제 배포 가능한 에이전트 시스템 구축에 필요한 핵심 요소를 강조합니다.

결론적으로, 이 논문은 단일 거대 모델의 진화에서 안정적인 추론 코어와 적응형 도구 생태계의 공진화로 패러다임이 이동하고 있음을 명확히 보여주며, 향후 지능형 에이전트 시스템 설계의 청사진을 제시합니다.