1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 을 자율 에이전트로 활용할 때, 현재 대부분의 에이전트는 고정된 인지 패턴 (Fixed Cognitive Patterns) 에 의존하는 한계를 보입니다.

• 비사고형 (Non-thinking) 모델: 모든 단계에서 즉각적인 반응만 생성하여 복잡한 전략적 계획이 필요한 단계에서 실패합니다.
• 사고형 (Thinking) 모델: DeepSeek-R1 과 같은 모델은 전체 트레젝토리 (Trajectory) 에 걸쳐 일관되게 깊은 사고 (Chain-of-Thought) 를 수행합니다. 이는 단순한 실행 단계 (예: 문 열기, 이동하기) 에서도 불필요한 토큰 소모와 계산 자원을 낭비하게 만듭니다.

실제 에이전트 작업 (예: ScienceWorld 의 온도계 찾기) 은 단계별로 인지적 요구도가 다릅니다. 초기 탐색 단계에서는 전략적 계획이 필요하지만, 중간 단계에서는 단순한 실행이 충분할 수 있습니다. 이러한 단계별 이질성 (Step-wise Heterogeneity) 을 고려하지 않은 고정된 사고 방식은 장기 작업 (Long-horizon tasks) 에서 비효율성과 성능 저하를 초래합니다. 기존 RL 기반 방법들은 보상 신호가 희소하여 전체 트레젝토리 수준의 보상을 균일하게 분배하므로, 모델이 모든 단계를 깊은 사고 (Level 4) 로 수렴하는 인지 경직성 (Cognitive Rigidity) 문제를 겪습니다.

2. 제안 방법: COGROUTER (Methodology)

이 논문은 인간 인지의 ACT-R (Adaptive Control of Thought-Rational) 이론에 기반하여, 에이전트가 각 단계에서 상황에 맞는 인지 깊이를 동적으로 선택할 수 있도록 하는 프레임워크 COGROUTER를 제안합니다.

2.1 4 단계 계층적 인지 수준 (Cognitive Levels)

에이전트의 사고 깊이를 4 가지 수준으로 정의합니다:

1. L1 (Instinctive Response): 학습된 패턴에 따른 즉각적인 반응. 명시적 사고 없이 속도를 최적화합니다.
2. L2 (Situational Awareness): 현재 상태와 가능한 행동을 평가한 후 응답합니다.
3. L3 (Experience Integration): 과거 행동과 결과를 반성 (Reflection) 하고 경험을 통합하여 결정을 내립니다.
4. L4 (Strategic Planning): 미래 결과를 시뮬레이션하고 여러 후보 행동을 평가하는 심층적 전략적 계획입니다.

2.2 2 단계 학습 파이프라인

모델이 이 4 가지 수준을 안정적으로 학습하고 상황에 맞게 선택하도록 두 단계로 훈련합니다.

1. 인지 인식 감독 미세 조정 (COSFT - Cognition-aware Supervised Fine-tuning):

   • 전문가 (GPT-4o) 의 성공적인 트레젝토리를 기반으로, 각 단계에서 4 가지 인지 수준 중 하나를 무작위로 샘플링하여 해당 수준의 사고 과정 (Thinking Process) 을 생성합니다.
   • 이를 통해 모델이 각 인지 수준에 대한 안정적인 패턴을 학습하고, 특정 수준으로 편향되지 않도록 균형을 맞춥니다.

2. 인지 인식 정책 최적화 (COPO - Cognition-aware Policy Optimization):

   • 기존 GRPO 와 같은 RL 방법은 전체 트레젝토리 보상을 모든 단계에 균일하게 적용하여, 불필요한 깊은 사고를 장려하는 경향이 있습니다.
   • COPO는 신뢰도 인식 이점 재가중 (Confidence-aware Advantage Reweighting) 기법을 도입합니다.
   • 핵심 아이디어: 적절한 인지 깊이는 해당 단계에서 모델이 행동을 예측할 때 높은 신뢰도 (Confidence) 를 가져야 합니다.
   • 작동 원리: 성공한 트레젝토리에서 각 단계마다 4 가지 인지 수준 모두에 대한 사고 과정을 생성 (Cognitive Group Expansion) 합니다. 각 수준에서 모델이 정답 행동을 예측할 확률 (Log-probability) 을 계산하여 신뢰도를 산출합니다. 이 신뢰도에 따라 해당 단계의 이점 (Advantage) 을 재가중치하여, 상황에 맞는 인지 수준을 선택하도록 강화합니다.

3. 주요 기여 (Key Contributions)

1. 인지 경직성 문제의 공식화: LLM 에이전트에서 고정된 사고 패턴이 장기 작업의 비효율성을 초래한다는 점을 규명하고, 단계별 인지 요구도의 이질성을 강조했습니다.
2. COGROUTER 프레임워크: ACT-R 이론에 기반한 4 단계 계층적 인지 수준을 정의하고, COSFT 와 COPO 를 통한 동적 적응 학습 파이프라인을 제시했습니다.
3. COPO 알고리즘: 트레젝토리 수준의 보상이 아닌, 행동 예측 신뢰도에 기반한 단계별 (Step-level) 신용 할당을 가능하게 하는 새로운 RL 알고리즘을 제안하여, 모델이 깊은 사고로 수렴하는 것을 방지하고 효율적인 추론을 학습하게 했습니다.

4. 실험 결과 (Results)

ALFWorld와 ScienceWorld 벤치마크에서 Qwen2.5-7B 및 Llama3.1-8B 모델을 기반으로 실험을 수행했습니다.

• 성능: COGROUTER 는 Qwen2.5-7B 기반 모델로 평균 성공률 **82.3%**를 달성했습니다. 이는 GPT-4o(+40.3%), OpenAI-o3(+18.3%), 기존 RL 방법인 GRPO(+14.0%) 보다 월등히 높은 성능입니다.
• 효율성: GRPO 대비 토큰 사용량을 62% 감소시켰습니다 (평균 1,641 토큰 vs 4,367 토큰).
• 적응성 분석:
  • GRPO 나 GiGPO 는 학습 초기부터 모든 단계를 L4(전략적 계획) 로 수렴하여 자원을 낭비하는 경향이 있었습니다.
  • 반면, COGROUTER 는 초기 탐색 단계에서는 L4 를, 단순 이동 단계에서는 L1 을, 장애물 발생 시에는 L3 를 사용하는 등 상황에 따라 인지 수준을 동적으로 분배했습니다.
  • 특히, 작업 난이도가 높을수록 L3/L4 비율이 증가하고, 단순할수록 L1 비율이 증가하는 등 작업 복잡도에 비례한 인지 자원 할당을 학습했습니다.

5. 의의 및 결론 (Significance)

이 연구는 에이전트 시스템에서 **"언제 생각하고, 언제 행동할 것인가"**에 대한 문제를 단계 수준 (Step-level) 에서 해결했습니다.

• 계산 효율성: 불필요한 사고 과정을 줄여 토큰 비용과 지연 시간을 크게 절감하면서도, 복잡한 단계에서는 충분한 사고를 수행하여 성능을 극대화합니다.
• 학습 안정성: 신뢰도 기반의 신용 할당 방식을 통해 RL 학습 중 발생하는 모드 붕괴 (Mode Collapse, 즉 모든 단계를 깊은 사고로만 수행하는 현상) 를 효과적으로 방지합니다.
• 미래 방향: 단순한 이진 선택 (생각함/생각안함) 을 넘어, 인간과 유사한 다층적 인지 구조를 가진 에이전트 개발의 새로운 패러다임을 제시합니다.

결론적으로, COGROUTER 는 고정된 사고 패턴의 비효율성을 극복하고, 에이전트가 작업의 맥락과 복잡도에 맞춰 유연하고 효율적인 인지 깊이를 동적으로 조절할 수 있게 함으로써, 장기적 자율 에이전트 성능의 새로운 기준을 제시했습니다.