DAVIS: Planning Agent with Knowledge Graph-Powered Inner Monologue

이 논문은 실험실 환경에서 연구자를 지원하기 위해 구조화된 기억과 내적 독백과 유사한 다중 턴 검색 시스템을 도입하여 기존 접근법보다 뛰어난 과학적 추론 능력을 보여주는 일반 과학 에이전트 'DAVIS'를 제안합니다.

핵심

🧪 DAVIS: 실험실의 '생각하는' 로봇 친구

이 논문은 DAVIS라는 새로운 인공지능 (AI) 에이전트를 소개합니다. DAVIS 는 실험실에서 과학자처럼 복잡한 작업을 스스로 계획하고 수행할 수 있도록 설계된 '똑똑한 로봇 친구'입니다.

기존의 AI 들은 종종 "이건 뭐지? 어떡하지?"라며 막히거나, 위험한 실수를 저지르기도 했습니다. 하지만 DAVIS 는 인간처럼 **내면의 독백 (Inner Monologue)**을 통해 끊임없이 생각하며 문제를 해결합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. DAVIS 는 어떤 존재일까요?

비유: "만능 도우미와 두뇌를 가진 비서"

기존의 AI 는 주로 "질문하면 답변을 찾아주는 검색 엔진"이나 "지시받은 대로만 움직이는 로봇"이었습니다. 하지만 DAVIS 는 다릅니다.

• 기존 AI: "물컵이 어디 있어?"라고 물으면, "서랍 안에 있어요"라고 딱딱하게 답합니다.
• DAVIS: "물컵이 서랍에 있네. 근데 서랍이 잠겨 있잖아? 열쇠는 어디 있었지? 아, 어제 책상 위에 두었던 것 같아. 그럼 열쇠를 먼저 찾아서 서랍을 열고 물컵을 가져와야겠어."라고 스스로 계획을 세우고 행동합니다.

2. DAVIS 가 특별한 이유 3 가지

① '시간이 흐르는' 기억력 (Temporal Knowledge Graph)

• 비유: "시간이 담긴 일기장"
  • 보통 AI 의 기억은 사진첩처럼 정지된 이미지들입니다. "컵이 테이블 위에 있다"는 사실만 기억하죠.
  • 하지만 DAVIS 는 시간이 흐르는 일기장을 가지고 있습니다. "아침에 컵이 테이블에 있었고, 오후에 내가 컵을 씻어서 싱크대에 두었다"는 시간 순서와 인과관계를 기억합니다.
  • 덕분에 "물이 끓으려면 시간이 걸리니까, 지금 물을 넣고 5 분 뒤를 기다려야 해"처럼 시간이 필요한 과학 실험도 잘 해냅니다.

② 내면의 독백 (Inner Monologue)

• 비유: "혼잣말을 하며 고민하는 사람"
  • 우리가 어려운 문제를 풀 때, 혼자서 "아니, 이 방법은 안 될 것 같아. 저걸로 해볼까?"라고 혼잣말을 하죠? DAVIS 도 똑같습니다.
  • 실행하기 전에 자신의 지식 그래프 (기억) 를 계속 뒤적이며 **"이게 맞을까? 아니면 저걸 먼저 해야 할까?"**라고 스스로 질문하고 답을 찾습니다. 이 과정을 '내면의 독백'이라고 부릅니다.
  • 이 덕분에 실수를 미리 예방하고, 더 똑똑한 결정을 내립니다.

③ 배우와 비평가 (Actor-Critic)

• 비유: "연출가와 비평가"
  • 배우 (Actor): DAVIS 가 구상한 계획을 실제 실험실에서 행동으로 옮기는 역할입니다.
  • 비평가 (Critic): "잠깐! 방금 한 행동이 계획과 달라! 불이 꺼졌잖아?"라고 실시간으로 감시하고 피드백을 줍니다.
  • 만약 실험이 실패하면, 비평가가 "다시 생각해보자"라고 말하고 DAVIS 는 즉시 계획을 수정합니다.

3. DAVIS 는 얼마나 잘할까요?

연구진은 DAVIS 를 ScienceWorld라는 가상의 과학 실험실 게임에서 테스트했습니다.

• 결과: 9 가지 과학 과목 중 8 개에서 기존 최고의 AI 들보다 훨씬 좋은 성적을 냈습니다. (평균 점수가 경쟁자들의 약 1.8 배!)
• 의미: DAVIS 는 단순히 지식을 외우는 게 아니라, 왜 그런지 이유를 추론하고 안전하게 실험을 수행할 수 있음을 증명했습니다.

4. 하지만 아직 넘어야 할 산이 있어요 (한계점)

• 비유: "고급 스테이크는 비싸다"
  • DAVIS 는 매우 똑똑하지만, 그 두뇌를 작동시키는 데 엄청난 비용이 듭니다. 한 번 행동할 때마다 약 43,000 개의 단어를 처리해야 해서, 실험 한 번에 수천 달러가 들 수도 있습니다.
  • 또한, DAVIS 는 텍스트 (글자) 로만 된 세상에서만 활동합니다. 실제 실험실에서 눈으로 보고, 손으로 만지는 능력은 아직 없습니다. (미래에는 이 부분도 보완될 예정입니다.)

🌟 결론: 왜 DAVIS 가 중요할까요?

DAVIS 는 AI 가 단순히 "답을 찾는 기계"를 넘어, 인간처럼 생각하고, 기억하고, 실수에서 배우는 파트너가 될 수 있음을 보여줍니다.

미래에 DAVIS 가 발전하면, 위험한 화학 실험이나 정밀한 의료 연구를 대신 수행하며 과학자들의 가장 안전한 조력자가 될 수 있을 것입니다. 마치 우리가 과거에 "계산기"를 발명했듯이, 이제는 "생각하는 실험실 조수"를 발명한 셈입니다!

기술 요약

1. 문제 정의 (Problem)

최근 AI 연구의 핵심 목표 중 하나는 실험실 환경에서 연구자를 보조할 수 있는 범용 과학 에이전트 (Generalist Scientific Agent) 를 개발하는 것입니다. 그러나 과학적 작업은 일상적인 작업과 달리 다음과 같은 까다로운 요구사항을 가지며, 기존 접근법들은 이를 충족하지 못했습니다.

• 높은 복잡성과 정밀성: 과학적 작업은 미세하고 복잡하며, 높은 수준의 추론 능력과 환경에 대한 구조적/시간적 이해가 필요합니다.
• 안전성 (Safety): 에이전트는 물리적 결과를 추론하고 행동을 정당화해야 하며, 안전을 최우선으로 고려해야 합니다.
• 기존 방법의 한계:
  • 강화학습 (RL): 샘플 비효율성, 일반화 부족, 해석 불가능성 (Black-box) 으로 인해 실제 배포가 어렵습니다.
  • LLM 기반 에이전트 (CoT, ReAct 등): 장기 기억 (Long-term memory) 이 부족하여 할루시네이션이 발생하고, 복잡한 다단계 추론에 취약합니다.
  • 기존 RAG (Retrieval-Augmented Generation): 비구조화된 벡터 데이터를 기반으로 하여, 인과관계 (Causal reasoning) 나 다단계 추론 (Multi-hop reasoning) 이 제한적이며, 동적인 적응이 어렵습니다.

2. 방법론 (Methodology)

논문의 제안인 DAVIS는 모델 기반 계획 (Model-based Planning) 접근법을 채택하며, 시간적 지식 그래프 (Temporal Knowledge Graph, TKG) 기반의 세계 모델 (World Model) 과 내면의 독백 (Inner Monologue) 이라는 상호작용적 검색 시스템을 핵심으로 합니다.

2.1. 핵심 아키텍처

DAVIS 는 부분 관측 마르코프 결정 과정 (POMDP) 으로 문제를 정의하며, 다음과 같은 모듈로 구성됩니다.

1. 세계 모델 (World Model, WM) - 시간적 지식 그래프 (TKG):

   • 에이전트의 상호작용 (행동, 관찰, 보상) 을 기반으로 지속적으로 진화하는 구조화된 메모리입니다.
   • Stanford CoreNLP 와 LLM 을 활용하여 개체 (Entity) 와 관계 (Relation) 를 추출하고, 타임스탬프를 포함하여 동적 환경을 모델링합니다.
   • 정적인 정보 저장소가 아니라, 에이전트가 과거 경험을 바탕으로 미래 상태를 예측하고 인과관계를 추론할 수 있도록 합니다.

2. 내면의 독백 (Inner Monologue) 검색 시스템:

   • 기존 RAG 와 달리, 에이전트가 계획 단계에서 메모리와 반복적인 대화 (Multi-turn retrieval) 를 수행합니다.
   • 과정: 에이전트가 질문을 던지면 WM 은 관련 엔티티를 선택하고, 시간 순서에 따라 서브그래프를 재배열한 후 LLM 에게 맥락으로 제공하여 일관된 답변을 생성합니다.
   • 이를 통해 지식의 공백을 메우고, 행동을 평가하며, 전략을 최적화합니다.

3. Actor-Critic 구조:

   • Actor: WM 이 생성한 고수준 계획을 환경에서 실행 가능한 구체적 명령어로 분해하고 실행합니다.
   • Critic: 실행 결과 (실제 관찰) 와 WM 이 예측한 결과를 비교하여 차이를 분석합니다.
   • 재계획 (Replanning): 예측과 실제가 크게 벗어나면 Critic 이 이를 감지하고, 내면의 독백을 통해 새로운 하위 작업을 제안하여 재계획을 트리거합니다. 이는 부분 관측 환경에서의 견고한 운영을 가능하게 합니다.

2.2. 알고리즘 흐름

1. 상태 추정: 과거 궤적 (Trajectory) 을 기반으로 LLM 이 현재 상태를 추정합니다.
2. 내면의 독백: 계획 수립 전, WM 과의 대화를 통해 관련 지식을 검색하고 맥락을 정제합니다.
3. 계획 생성: WM 이 보상 및 전이 모델을 근사화하여 최적의 행동 궤적을 생성합니다.
4. 실행 및 평가: Actor 가 행동을 실행하고, Critic 이 결과를 검증하여 필요 시 재계획을 수행합니다.

3. 주요 기여 (Key Contributions)

1. DAVIS 프레임워크 도입: 다중 턴 검색 (Multi-turn retrieval) 과 자기 성찰 (Self-reflection) 을 결합한 새로운 에이전트 추론 프레임워크를 제시했습니다.
2. 구조화된 시간적 메모리: 정적인 검색이 아닌, 시간적 지식 그래프 (TKG) 를 활용한 구조화된 메모리 시스템을 통해 다단계 추론과 인과관계 이해를 가능하게 했습니다.
3. 상호작용적 검색 (Interactive Retrieval): RAG 파이프라인 내에서 에이전트가 메모리와 대화하며 동적으로 지식을 갱신하는 최초의 시도로, 인간의 내면 독백을 모방했습니다.
4. 검증 가능한 투명성: RL 에이전트의 불투명한 정책과 달리, 계획 단계에서의 사전 검토 (Pre-execution deliberation) 를 통해 인간 감독자가 의사결정 과정을 명확히 inspect 할 수 있게 했습니다.

4. 실험 결과 (Results)

4.1. ScienceWorld 벤치마크

• 환경: 초등학교 과학 9 과목 (물리, 화학, 생물 등) 에 대한 30 가지 작업.
• 성적: 9 개 과목 중 8 개 과목에서 기존 최첨단 에이전트 (SayCan, ReAct, Reflexion, RAP) 를 능가했습니다.
• 평균 점수: 전체 평균 65.06점을 기록하여 경쟁 방법론보다 약 1.8 배 높은 성능을 보였습니다.
• 효율성: 수렴까지 걸린 단계 수가 적었으며, 특히 RAP 대비 훈련 데이터에서 실행으로의 지식 전이 (Transfer) 능력이 뛰어났습니다.

4.2. Ablation Study (구성 요소 제거 실험)

• World Model (WM) 제거: 시간적/구조적 맥락이 사라져 복잡한 작업 (예: 녹는점 측정, 생물 찾기) 에서 성능이 급격히 저하됨.
• Actor 제거: 고수준 계획을 구체적인 명령어로 변환하지 못해 실행 오류가 빈번하고 재계획 주기가 짧아짐.
• Critic 제거: 오류 발생 시 자기 성찰이 불가능하여 긴 작업 체인에서 회복 능력이 떨어짐.

4.3. Multi-hop QA (HotpotQA, MusiqueQA)

• DAVIS 의 WM 은 HotpotQA 에서 F1 점수 73.8, EM 56.25를 기록하여 GraphReader, GraphRAG 등을 능가하고 HOLMES 와 경쟁 가능한 수준을 보였습니다.
• 이는 구조화된 시간적 메모리가 복잡한 추론 작업에 효과적임을 입증했습니다.

5. 의의 및 한계 (Significance & Limitations)

의의

• 과학적 에이전트의 새로운 패러다임: 단순한 명령 수행을 넘어, 안전성과 해석 가능성을 갖춘 과학적 추론 에이전트의 가능성을 열었습니다.
• 안전성 강화: RL 의 블랙박스 문제와 달리, 계획 단계에서의 검증과 Critic 을 통한 피드백 루프를 통해 안전 프로토콜 준수를 보장합니다.
• 동적 적응: 정적 지식베이스가 아닌, 상호작용을 통해 진화하는 TKG 를 통해 변화하는 환경에 유연하게 대응합니다.

한계 및 향후 과제

• 높은 운영 비용: LLM 과 TKG 의 반복적 상호작용으로 인해 토큰 사용량이 많고 비용이 높음 (작업당 약 $0.43).
• LLM 의존성: 성능이 기반 LLM 의 품질과 API 변경에 민감하게 반응함.
• 편향된 계획: TKG 에 의존하다 보니 그래프 내 정보에 편향될 수 있으며, 새로운 시나리오에서는 어려움을 겪을 수 있음.
• 멀티모달 부재: 현재 텍스트 기반 환경만 지원하며, 실제 물리적 로봇이나 시각/청각 입력이 필요한 안전-중요 (Safety-critical) 환경 적용에는 한계가 있음.

결론

DAVIS 는 구조화된 지식 그래프와 내면의 독백을 결합하여 과학적 환경에서 복잡한 추론과 안전한 계획을 수행하는 획기적인 에이전트입니다. 이는 기존 RAG 와 RL 의 한계를 극복하고, 투명하고 적응력 있는 과학적 AI 에이전트 개발을 위한 중요한 이정표가 됩니다.