Cognitive Models and AI Algorithms Provide Templates for Designing Language Agents

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 은 단독으로 뛰어난 성능을 보이지만, 단일 LLM 의 능력을 넘어서는 복잡한 문제를 해결하기 위해서는 여러 LLM 을 조합하여 '언어 에이전트 (Language Agents)'를 구성해야 합니다. 그러나 현재 언어 에이전트 설계에는 다음과 같은 주요 문제가 존재합니다.

• 설계 공간의 무작위성: 가능한 에이전트 아키텍처의 탐색 공간이 너무 방대하여, 브루트 포스 (Brute-force) 방식의 탐색은 비현실적입니다.
• 경험적 설계의 한계: 실제 설계는 종종 직관, 수동 설계, 또는 우연에 의존하며, 고위험 환경 (의료 등) 에서 데이터와 자원이 부족하여 체계적인 최적화가 어렵습니다.
• 해석 가능성 부족: 무작위로 설계된 에이전트는 그 작동 원리를 이해하기 어렵고, 재현성이 떨어집니다.

따라서, 효과적이고 해석 가능한 언어 에이전트를 설계하기 위한 체계적인 방법론 (Heuristics) 이 절실히 필요합니다.

2. 방법론 (Methodology)

저자들은 인지 과학 (Cognitive Science) 의 인지 모델과 기존 AI 알고리즘을 언어 에이전트 설계의 '템플릿 (Templates)'으로 활용하는 것을 제안합니다.

• 에이전트 템플릿의 정의:
  • 에이전트 템플릿을 **방향성 비순환 그래프 (DAG)**로 형식화합니다.
  • 노드 (Vertices) 는 LLM 이나 도구 (Tools) 로 구성되고, 간선 (Edges) 은 데이터 흐름과 실행 순서를 정의합니다.
  • 입력은 초기 노드에서 시작하여 각 모듈을 거쳐 최종 출력으로 이어지는 파이프라인 구조를 가집니다.
• 설계 접근법:
  • 기존에 인간 행동이나 문제 해결을 설명하는 데 성공한 인지 모델 (예: 합리적 언어 행위, 계획, 추론) 을 분석하여 이를 LLM 기반 모듈로 매핑합니다.
  • 잘 알려진 AI 알고리즘 (예: 탐색 알고리즘, 분할 정복, 강화학습 알고리즘) 을 에이전트의 작업 흐름 (Workflow) 으로 변환합니다.
  • 이를 통해 에이전트의 목표를 구체적인 단계별 파이프라인으로 변환하고, 각 단계에 적합한 LLM 역할 (Generator, Evaluator, Planner 등) 을 할당합니다.

3. 주요 기여 및 내용 (Key Contributions)

이 논문은 기존 문헌을 조사하여 인지 모델과 AI 알고리즘이 어떻게 구체적인 에이전트 템플릿으로 구현되었는지 분류하고 분석합니다.

A. 인지 모델 기반 템플릿 (Section 4)

1. 의사소통 (Communication):
   • 합리적 언어 행위 (Rational Speech Acts, RSA): 화자와 청자의 상호 추론을 모델링합니다.
   • 구현 예시: Liu et al. (2023) 은 청중 반응을 시뮬레이션하여 최적의 발화를 선택하는 에이전트를 설계했습니다. Qiu et al. (2025) 은 베이지안 추론을 통해 참조 게임 (Reference Game) 에서의 의사소통을 개선했습니다.
2. 추론 및 계획 (Reasoning & Planning):
   • 구두 프로토콜 (Verbal Protocol): "생각하기 (Think-aloud)" 방법을 LLM 의 사고 과정 (Chain-of-Thought) 으로 확장합니다.
   • 계획 (Planning): 전두엽의 기능을 모방한 모듈형 에이전트 (Modular Agentic Planner, MAP) 를 제안합니다. 이는 작업 분해, 행동 제안, 오류 모니터링, 상태 예측 등의 모듈로 구성됩니다.
3. 표현 (Representation):
   • 사고의 언어 (Language of Thought, LoT): 사고를 코드 실행으로 간주합니다.
   • 구현 예시: PaL, Program of Thoughts, CodeAct 등은 LLM 이 코드를 생성하고 실행하여 수학적/상징적 추론 능력을 극대화합니다.

B. AI 알고리즘 기반 템플릿 (Section 5)

1. 전통적 알고리즘:
   • 탐색 (Search): Tree of Thoughts (ToT) 는 빔 서치 (Beam Search) 나 A* 알고리즘을 LLM 에 적용하여 부분 해를 확장하고 평가하는 구조를 가집니다.
   • 분할 정복 (Divide and Conquer): Least-to-Most 프롬핑이나 Decomposed Prompting 은 복잡한 문제를 하위 문제로 분해하고 해결한 후 결과를 통합하는 템플릿을 사용합니다.
2. 강화학습 (RL) 알고리즘:
   • 정책 반복 (Policy Iteration): In-Context Policy Iteration (ICPI) 은 LLM 을 통해 전이 함수와 보상 함수를 근사하여 정책을 반복적으로 개선합니다.
   • 사후 샘플링 (Posterior Sampling for RL, PSRL): Thompson Sampling 개념을 적용하여, 에이전트가 환경에 대한 불확실성 (Posterior) 을 유지하고 이를 업데이트하며 탐색과 활용 (Exploration vs. Exploitation) 의 균형을 맞춥니다.
   • 정보 지향 샘플링 (Information-Directed Sampling, IDS): 단순한 최적 행위가 아닌, 정보 획득을 위한 의도적인 하위 최적 행위를 선택하여 장기적 효율성을 높이는 템플릿을 제안합니다.

4. 결과 및 성과 (Results)

논문은 구체적인 사례 연구를 통해 제안된 템플릿의 유효성을 입증합니다.

• 성능 향상: RSA 기반 템플릿은 인간 평가에서 베이스라인보다 우수한 의사소통 능력을 보였습니다. MAP 템플릿은 Tower of Hanoi 및 PlanBench 와 같은 복잡한 계획 벤치마크에서 강력한 성과를 거두었습니다.
• 효율성: 분할 정복 및 코드 실행 기반 템플릿은 수학적 추론 및 창의성 테스트에서 기존 LLM 보다 높은 정확도와 토큰 효율성을 보였습니다.
• 탐색 효율성: PSRL 및 IDS 템플릿을 적용한 에이전트는 Wordle 과 같은 탐색 문제에서 무작위 탐색이나 단순 정책 반복보다 효율적으로 최적 해를 찾았습니다. 특히 IDS 에이전트는 불확실성을 줄이기 위해 의도적으로 정보를 수집하는 행동을 취함으로써 베이지안 최적 정책에 더 근접한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성 (Interpretability): 무작위 설계 대신 검증된 이론적 틀을 사용함으로써 에이전트의 의사결정 과정을 인간이 이해하고 예측할 수 있게 합니다.
• 설계 효율성: 새로운 에이전트를 처음부터 설계할 필요 없이, 기존에 검증된 인지 모델과 알고리즘을 템플릿으로 재사용함으로써 개발 시간을 단축하고 실패 확률을 줄입니다.
• 학제간 융합: 인지 과학과 AI 의 상호 발전을 촉진합니다. AI 는 인지 모델을 대규모로 확장하여 적용하고, 언어 에이전트의 복잡한 행동은 다시 새로운 인지 모델을 발견하는 데 기여할 수 있습니다.
• 향후 방향: 다중 에이전트 시스템, 집단 의사결정, 진화 알고리즘 등 더 넓은 분야의 이론을 에이전트 설계에 적용할 것을 권고하며, 자동화된 에이전트 설계가 이루어지더라도 이러한 템플릿들이 '사전 지식 (Prior)'으로서 중요한 역할을 할 것이라고 주장합니다.

요약하자면, 이 논문은 언어 에이전트 설계가 단순한 엔지니어링의 문제가 아니라, 인간의 인지 과정과 수학적 알고리즘에서 영감을 받은 체계적인 '템플릿'을 적용해야 함을 강조하며, 이를 통해 더 강력하고 해석 가능한 AI 시스템을 구축할 수 있음을 보여줍니다.