Adaptive Collaboration with Humans: Metacognitive Policy Optimization for Multi-Agent LLMs with Continual Learning

이 논문은 인간 전문가의 피드백을 통해 자율적 문제 해결과 인간 의존 시기를 조절하는 메타인지 정책을 학습하고, 내외부 루프를 통한 정책 최적화로 지식을 지속적으로 확장하는 'HILA' 프레임워크를 제안하여 다중 에이전트 시스템의 한계를 극복하고 성능을 향상시킨다는 내용입니다.

핵심

이 논문은 **"지능적인 팀워크와 인간의 도움을 어떻게 최적으로 섞을 것인가?"**에 대한 해답을 제시합니다.

기존의 인공지능 (AI) 은 혼자서 모든 문제를 해결하려고 애쓰지만, 때로는 자신이 모르는 지식이 필요할 때 멈춰버리거나 엉뚱한 답을 내놓는 '닫힌 세계'의 한계가 있습니다. 이 논문은 이를 해결하기 위해 HILA라는 새로운 시스템을 제안합니다.

이 시스템을 이해하기 쉽게 **'스마트한 탐정 팀'**과 **'현명한 지도자'**의 관계로 비유해 설명해 드리겠습니다.

---

1. 문제: "혼자서 다 하려고 하는 AI 팀의 한계"

상상해 보세요. 뛰어난 지능을 가진 탐정들 (여러 개의 AI) 이 모여서 미스터리 사건을 해결하려 합니다. 그들은 서로 토론하고, 아이디어를 주고받으며 (이게 기존 '멀티 에이전트 시스템') 아주 잘합니다.

하지만 치명적인 약점이 있습니다.

• 그들은 훈련받지 않은 새로운 사건을 만나면 당황합니다.
• "우리가 이걸 해결할 수 있을까?"라고 자문할 때, 자신의 무능력을 인정하지 못하고 억지로 엉뚱한 추리를 계속합니다.
• 결국 팀 전체가 잘못된 길로 빠져버리는 '집단 실패'가 일어납니다.

2. 해결책: HILA (인간이 개입하는 협업 시스템)

이 논문은 **"스스로 판단해서 인간 전문가의 도움을 요청하는 AI"**를 만듭니다. 이를 HILA라고 부릅니다.

핵심은 AI 가 **"지금 내가 해결할 수 있는가?"**를 스스로 판단하는 메타인지 (자기 인식) 능력을 갖추는 것입니다.

• 상황 1 (자신감 있음): "아, 이 문제는 우리 팀이 충분히 해결할 수 있겠네!" → 혼자서 해결 (EVAL/CREATE)
• 상황 2 (위험 감지): "어? 이 부분은 우리가 모르는 지식인 것 같아. 계속하면 틀릴 확률이 높아." → 즉시 인간 전문가에게 도움 요청 (DEFER)

3. 핵심 기술: "두 개의 학습 루프" (Dual-Loop)

이 시스템이 어떻게 똑똑해지느냐? 두 가지 학습 방식을 동시에 사용합니다.

🔄 안쪽 고리: "언제 도움을 요청할지 배우기" (RL)

• 비유: 게임에서 "이 보스는 내가 잡을 수 있을까, 아니면 힐러 (치유사) 를 부를까?"를 결정하는 법을 배우는 과정입니다.
• 원리: AI 가 실수하면 벌점을 받고, 적절한 때에 인간에게 도움을 요청하면 점수를 받습니다. 이를 통해 **"도움을 요청하는 타이밍"**을 최적화합니다.

🔄 바깥쪽 고리: "도움받은 내용을 진짜 실력으로 만들기" (Continual Learning)

• 비유: 인간 전문가가 "이건 이렇게 푸는 거야"라고 알려주면, AI 는 그걸 단순히 답만 외우는 게 아니라 진짜 공부를 합니다.
• 원리: 인간이 알려준 해답을 AI 가 다시 학습해서, 다음번에는 같은 문제를 인간 없이도 스스로 풀 수 있게 성장합니다.
• 효과: 시간이 갈수록 AI 는 인간에게 도움을 요청할 필요가 점점 줄어들고, 스스로 더 똑똑해집니다.

4. 실험 결과: "왜 이 방식이 더 좋은가?"

수학 문제나 복잡한 추론 문제를 테스트했을 때, 기존 AI 팀들은 "우리가 다 할 수 있어!"라고 고집하다가 틀리는 경우가 많았습니다. 하지만 HILA 는:

1. 도움 요청 타이밍을 정확히 잡습니다: 어려운问题时 과감하게 인간에게 물어봅니다.
2. 실력이 진짜로 늡니다: 인간에게 배운 내용을 기억해서, 나중에 비슷한 문제가 나오면 혼자서도 잘 풉니다.

결국 HILA 는 "도움을 잘 요청하는 법"과 "도움을 받아서 성장하는 법"을 동시에 배운, 가장 똑똑한 AI 팀이 되었습니다.

5. 요약: 한 줄로 정리하면?

"혼자서 모든 걸 해결하려다 실패하는 AI 대신, '내가 모르는 건 인정하고 전문가에게 물어보고, 그걸로 성장하는' 똑똑한 AI 팀을 만들었습니다."

이 방식은 AI 가 단순히 지식을 재조합하는 것을 넘어, 인간의 지혜를 흡수하며 계속해서 진화하는 열린 시스템을 가능하게 합니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 단일 모델 스케일링은 괄목할 만한 진전을 이루었지만, 다음 단계인 **다중 에이전트 시스템 (Multi-Agent Systems, MAS)**을 통한 협업 확장이 새로운 최전선으로 부상하고 있습니다. 그러나 기존 자율적 MAS 는 다음과 같은 근본적인 한계 ("Closed-World" 제약) 를 가지고 있습니다.

• 지식의 정적 한계: 에이전트들의 지식 범위는 사전 학습 데이터 (Pre-training corpora) 에 국한되어 있어, 학습 데이터에 없는 새로운 지식이나 도메인 전문성이 필요한 작업에서는 실패합니다.
• 집단적 실패: 복잡한 추론이 필요한 과제에서 내부적인 협업만으로는 지식의 공백을 메우기 어렵고, 오히려 잘못된 추론이 집단적으로 고착화되는 현상이 발생합니다.
• 인간 개입의 비효율성: 기존 인간 - 에이전트 루프 (Human-in-the-Loop) 연구들은 인간을 단순히 수동적인 오라클 (Oracle) 이나 하위 작업 감시자로만 활용하거나, 저신뢰도 임계값 같은 휴리스틱에 의존하여 언제 인간의 도움을 받아야 할지 결정합니다. 또한, 인간 피드백을 일회성 수정으로만 처리하여 장기적인 에이전트 능력 성장으로 이어지지 못합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 인간 - 에이전트 협업 (HILA, Human-In-the-Loop Multi-Agent Collaboration) 프레임워크와 이를 최적화하기 위한 **이중 루프 정책 최적화 (Dual-Loop Policy Optimization, DLPO)**를 제안합니다.

A. HILA 프레임워크의 핵심 구성 요소

HILA 는 에이전트가 외부 전문가 (인간) 의 지식을 전략적으로 활용할 수 있도록 **메타인지 정책 (Metacognitive Policy)**을 학습합니다.

1. 메타인지 마르코프 의사결정 과정 (Meta-MDP):
   • 에이전트는 현재 상태 (작업 맥락, 자기 자신과 동료 에이전트의 추론 상태, 사회적 합의 신호 등) 를 기반으로 고수준의 인지 전략을 선택합니다.
2. 전략적 행동 공간 (Strategic Action Space):
   • EVAL (평가): 기존 동료들의 솔루션 중 하나를 선택하여 집단 지성을 활용합니다.
   • CREATE (창조): 기존 솔루션이 부족하다고 판단될 때, 새로운 추론 경로를 직접 생성합니다.
   • DEFER (위임): 문제의 난이도나 불확실성이 시스템의 능력을 초과한다고 판단될 때, 외부 인간 전문가의 도움을 요청합니다.
3. 상호작용 프로토콜:
   • 각 라운드에서 에이전트들은 병렬로 행동을 선택하고, DEFER가 선택되면 전문가의 정답이 해당 라운드의 출력으로 반영되어 다음 상태에 전달됩니다.

B. 이중 루프 정책 최적화 (Dual-Loop Policy Optimization, DLPO)

메타인지 정책의 학습과 에이전트의 장기적 능력 향상을 동시에 달성하기 위해 두 가지 루프를 결합합니다.

1. 내부 루프 (Inner Loop): 강화학습 (RL) 을 통한 정책 최적화
   • 목표: 언제 DEFER를 할지 결정하는 메타 정책을 학습합니다.
   • 방법: 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO) 를 사용합니다.
   • 보상 함수: 작업의 정확도 (Correctness) 에 기반하되, CREATE(재생성 비용) 와 DEFER(전문가 개입 비용) 에 대해 페널티를 부과합니다. 이를 통해 에이전트는 불필요한 개입을 피하면서도 실패 위험이 높을 때는 과감하게 도움을 요청하는 균형을 학습합니다.
2. 외부 루프 (Outer Loop): 전문가 피드백을 통한 지속적 학습 (Continual Learning)
   • 목표: DEFER를 통해 수집된 전문가의 고품질 추론 데이터를 에이전트의 근본적인 추론 능력으로 전환합니다.
   • 방법: DEFER가 발생한 경우, 전문가가 제공한 정답과 추론 과정을 지도 학습 (Supervised Fine-Tuning, SFT) 데이터로 활용하여 모델을 업데이트합니다.
   • 의미: 이는 단순한 수정이 아니라, 에이전트가 외부 지식을 내부화하여 추론 능력의 상한선 (Ceiling) 을 높이는 과정입니다.

3. 주요 기여 (Key Contributions)

1. HILA 프레임워크 제안: 에이전트가 메타인지 정책을 통해 언제 자율적으로 해결하고 언제 인간 전문가에게 위임할지 전략적으로 결정하는 새로운 인간 - 에이전트 협업 패러다임을 정립했습니다.
2. 이중 루프 정책 최적화 (DLPO) 도입: 단기적인 개입 결정 (RL) 과 장기적인 능력 성장 (Continual Learning) 을 분리하여 최적화하는 새로운 학습 방법론을 제시했습니다. 이는 휴리스틱에 의존하지 않고 학습된 정책과 지속적 학습을 결합합니다.
3. 성능 입증: 수학적 추론 (GSM8K, AIME, AMC) 및 일반 문제 해결 (MMLU, HumanEval) 벤치마크에서 기존 최첨단 자율 다중 에이전트 시스템 (Debate, DyLAN, G-Swarm 등) 을 압도하는 성능을 보였습니다. 특히 난이도가 높은 경쟁 수학 문제에서 집단적 실패를 방지하고 성능을 크게 향상시켰습니다.

4. 실험 결과 (Results)

• 종합 성능: LLaMA3-8B 백본을 기준으로 HILA 는 모든 벤치마크에서 기존 최강의 자율 다중 에이전트 방법론보다 3.7~15.4 포인트 이상 높은 정확도를 기록했습니다. (예: GSM8K 에서 84.89% → 89.86%, AMC 에서 20.48% → 35.83%)
• 백본 일반화: Qwen 및 LLaMA 계열의 다양한 모델 크기 (3B~7B) 에서 일관된 성능 향상을 보이며, 모델 크기가 작을수록 (추론 능력이 부족할 때) HILA 의 개선 효과가 더 큽니다.
• 학습 단계별 분석:
  • GRPO (내부 루프) 만 적용 시: 불필요한 DEFER를 줄이는 비용 인식 전략을 학습하지만, 정확도 향상은 제한적입니다.
  • DLPO (외부 루프 추가) 적용 시: DEFER 비율이 감소하는 동시에 정확도가 크게 상승합니다. 이는 외부 전문가의 피드백이 모델의 근본적인 추론 능력을 강화했음을 의미합니다.
• 인간 전문가의 중요성: 실제 인간 전문가 (PhD 수준) 를 사용할 경우 GPT 기반 프록시보다 더 높은 성능을 보였으며, 특히 복잡한 수학 문제 (AMC) 에서 인간 전문가의 개입이 결정적인 역할을 했습니다. 또한, 초기에 인간이 제공하는 '전체 추론 과정 (Full Reasoning)'이 '간단한 아이디어 (Idea)'보다 시스템 성능을 훨씬 더 크게 향상시킵니다.

5. 의의 및 결론 (Significance)

이 논문은 다중 에이전트 시스템이 **닫힌 세계 (Closed-World)**의 한계를 벗어나 **열린 세계 (Open-World)**에서 진화할 수 있는 길을 제시합니다.

• 전략적 협업: 에이전트가 단순히 인간을 보조 도구로 사용하는 것을 넘어, 자신의 능력 한계를 인지하고 전략적으로 도움을 요청하는 '메타인지' 능력을 갖추게 되었습니다.
• 지속적 진화: 인간 피드백을 일회성 수정이 아닌, 모델의 추론 능력을 영구적으로 강화하는 학습 신호로 활용함으로써 에이전트가 시간이 지남에 따라 스스로 성장하는 시스템을 구현했습니다.
• 실용적 가치: 복잡한 추론 작업에서 인간의 개입을 최소화하면서도 (불필요한 DEFER 감소), 필요한 순간에는 고품질 전문가 지식을 활용하여 신뢰할 수 있는 결과를 도출하는 효율적인 협업 체계를 확립했습니다.

결론적으로, HILA 는 단순한 다중 에이전트 협업의 성능 향상을 넘어, 인간과 AI 가 상호 보완적으로 학습하고 진화하는 지능 시스템의 새로운 표준을 제시합니다.