KAIJU: An Executive Kernel for Intent-Gated Execution of LLM Agents

이 논문은 LLM 에이전트의 실행과 추론 계층을 분리하여 직관 기반 실행 (IGX) 과 실행 커널을 도입함으로써 ReAct 방식의 지연, 컨텍스트 폭증, 보안 취약점 문제를 해결하고 병렬 데이터 수집 및 행동 보장을 가능하게 하는 'KAIJU' 시스템을 제안합니다.

핵심

1. 기존 방식 (ReAct) 의 문제점: "혼자서 모든 걸 하려는 고집 센 학생"

기존의 AI 에이전트 (ReAct 방식) 는 마치 혼자서 모든 일을 처리하려는 고집 센 학생과 같습니다.

• 작동 방식: "무엇을 해야 할까?" (생각) → "도구를 써보자" (행동) → "결과가 뭐야?" (확인) → "그럼 다음엔?" (생각) ... 이 과정을 반복합니다.
• 문제점 1 (메모리 과부하): 학생이 일을 할 때마다 이전 대화 내용과 결과물을 모두 기억해야 합니다. 일이 길어질수록 기억해야 할 양이 기하급수적으로 늘어나서, 머리가 터질 듯해지고 (컨텍스트 폭주), 중요한 정보를 놓치거나 엉뚱한 말을 하게 됩니다.
• 문제점 2 (안전 불감증): "부정적인 일은 하지 마"라고 선생님 (프롬프트) 이 말해줘도, 학생이 실수하거나 꾀를 내면 그 말을 무시하고 위험한 일을 저지를 수 있습니다.
• 문제점 3 (포기 심리): 도구가 작동하지 않거나 결과가 안 좋으면, 학생은 "어차피 내 머릿속 지식으로 대충 답할 수 있겠지"라고 생각하며 일을 포기하고 대충 답을 내놓습니다.

2. KAIJU 의 해결책: "전문가 팀과 엄격한 보안관"

KAIJU 는 이 학생을 한 명으로 일하게 하는 것이 아니라, 체계적인 '프로젝트 팀'으로 바꿉니다. 이 팀은 크게 두 부분으로 나뉩니다.

A. 기획자 (Planner) vs 실행 관리자 (Executive Kernel)

• 기획자 (AI): "무엇을 할지"만 생각합니다. 구체적인 실행 과정은 모릅니다.
• 실행 관리자 (KAIJU): 기획자가 그린 '작업 지도 (그래프)'를 받아서 실제로 도구를 작동시킵니다.
  • 비유: 기획자는 건축 설계도를 그리는 건축가이고, KAIJU 는 그 설계도에 따라 실제로 벽돌을 쌓고 배관을 설치하는 현장 감독관입니다. 건축가는 벽돌이 어떻게 쌓이는지, 안전 장치가 어떻게 작동하는지 알 필요가 없습니다.

B. 핵심 기능 1: "의도 기반 문지기 (IGX)"

KAIJU 는 모든 도구를 작동시키기 전에 4 가지 문지기를 통과하게 합니다.

1. 범위 (Scope): 이 도구를 쓸 자격이 있는가?
2. 의도 (Intent): 지금 하는 일이 단순한 '관찰'인가, '작동'인가, '파괴'인가?
3. 영향 (Impact): 이 도구가 얼마나 위험한가? (예: 파일 삭제는 위험, 파일 읽기는 안전)
4. 허가 (Clearance): 외부의 실제 관리자 (예: 회사 보안팀) 가 허락했는가?

• 중요한 점: AI 는 이 문지기가 어떻게 작동하는지, 혹은 문이 열렸는지 닫혔는지 알 수 없습니다. AI 가 "이 문은 왜 닫혔지?"라고 물어보면, 문지기는 "모르세요, 그냥 실패했습니다"라고만 답합니다. 그래서 AI 가 보안 규칙을 뚫으려고 시도할 수 없습니다.

C. 핵심 기능 2: "동시 작업과 중간 점검"

• 동시 작업: 기존 방식은 한 번에 하나씩 일을 했지만, KAIJU 는 의존성이 없는 일들은 동시에 (병렬로) 처리합니다. (예: 날씨 확인과 주식 가격 확인을 동시에 함)
• 중간 점검 (Reflection): 작업이 끝날 때마다 "지금까지 모은 정보가 충분할까? 더 필요한 게 있을까?"를 확인합니다. 정보가 부족하면 AI 가 다시 계획을 수정하게 하지만, 기존의 모든 대화 기록을 다시 읽게 하지 않고 현재 필요한 정보만 보고 판단하게 합니다.

---

3. 실제 효과: "복잡한 미션에서 KAIJU 가 압승"

논문은 두 가지 방식이 복잡한 미션 (예: "지금 우주 행성들의 위치를 계산해서 위험한 궤도를 찾아줘") 을 수행할 때 어떤 차이가 있는지 실험했습니다.

• 간단한 질문: KAIJU 가 약간의 준비 시간 (기획 비용) 때문에 기존 방식보다 살짝 느릴 수 있습니다. (비유: 복잡한 계획 없이 바로 대답하는 게 더 빠를 수 있음)
• 복잡한 질문: 일이 복잡해지면 KAIJU 가 압도적으로 빠르고 정확합니다.
  • 이유: 기존 방식은 기억해야 할 정보가 너무 많아져서 "머리가 터져서" (메모리 부족) 일을 포기하거나 엉뚱한 답을 냈습니다. 반면 KAIJU 는 정보를 잘게 나누어 처리하고, 동시에 실행하며, 중간중간 점검하기 때문에 작업을 끝까지 완수했습니다.
  • 안전성: KAIJU 는 도구가 고장 나거나 막히면 "사용자에게 물어봐"라고 하지 않고, 자동으로 다른 방법을 찾아서 해결합니다.

4. 요약: 왜 이것이 중요한가?

KAIJU 는 AI 가 현실 세계에서 일할 때 안전하고, 빠르며, 믿을 수 있게 만드는 시스템입니다.

• 안전: AI 가 실수하거나 악의적으로 행동하더라도, 시스템이 자동으로 막아줍니다.
• 효율: 여러 일을 동시에 처리하고, 필요한 정보만 골라서 처리하므로 빠릅니다.
• 신뢰: AI 가 "내 지식으로 대충 답할게"라고 포기하지 않고, 필요한 데이터를 끝까지 찾아서 정확한 답을 내놓습니다.

한 줄 요약:

"기존 AI 가 혼자서 모든 걸 하다가 지치거나 실수하는 것을 막기 위해, 전문적인 지휘관 (KAIJU) 이 AI 를 도와 계획을 세우고, 안전 장치를 걸고, 여러 일을 동시에 처리하게 만든 시스템입니다."

기술 요약

1. 문제 정의 (Problem Statement)

기존의 ReAct (Reasoning + Acting) 패러다임을 기반으로 한 LLM 에이전트는 외부 도구 (API, 쉘 명령어, 데이터베이스 등) 를 호출할 때 다음과 같은 세 가지 근본적인 한계를 겪습니다.

1. 직렬 지연 및 이차적 컨텍스트 성장 (Serial Latency & Quadratic Context Growth):
   • ReAct 는 매 턴마다 전체 대화 기록을 컨텍스트로 전송합니다. $n$번의 턴과 평균 토큰 크기 $k$가 있을 때, 총 토큰 비용은 $O(n^2k)$로 이차적으로 증가합니다.
   • 복잡한 작업 (예: 18 개의 도구 호출) 의 경우 컨텍스트 창을 초과하여 성능 저하나 빈 출력 (empty output) 을 초래합니다.
2. 단일 권한에 의한 실행 불안정성 (Unilateral Authority & Reliability Issues):
   • 에이전트는 매 턴마다 도구 사용 여부를 스스로 결정합니다. 도구가 실패하거나 결과가 불완전할 때, 모델은 작업을 포기하거나 사용자에게 의존할 수 있습니다.
   • "항상 재시도하라"는 프롬프트 지시만으로는 이를 보장할 수 없으며, 모델의 임의적 판단에 따라 신뢰성이 떨어집니다.
3. 보안 취약성 (Vulnerability to Prompt Injection):
   • 도구 안전성은 프롬프트 지시 ("파괴적인 도구를 호출하지 마라") 에 의존합니다.
   • 이는 할루시네이션, 프롬프트 인젝션, 컨텍스트 오버플로우를 통해 우회될 수 있으며, 구조적인 안전 장치 (failsafe) 가 부재합니다.

2. 방법론 (Methodology: KAIJU System)

저자들은 LLM 의 추론 계층 (Reasoning Layer) 과 도구 실행 계층 (Execution Layer) 을 완전히 분리하는 시스템 레벨의 추상화인 KAIJU를 제안합니다.

핵심 아키텍처

• Reasoning Layer (추론 계층): 사용자와 상호작용하며 작업 계획을 수립하거나 결과를 요약합니다. 실행 메커니즘 (병렬 스케줄링, 의존성 해결 등) 에 대한 가시성이 없습니다.
• Executive Kernel (실행 커널): 도구 디스패치, 의존성 해결, 실패 복구, 보안 강제, 결과 합성을 담당합니다. LLM 은 이 계층에서 상태 없는 리소스로만 호출됩니다.

주요 구성 요소

1. 의도 게이트드 실행 (Intent-Gated Execution, IGX):

   • 도구 실행 전 4 가지 독립 변수를 기반으로 권한을 부여하는 보안 패러다임입니다.
   • 4 가지 변수:
     • Scope (범위): 허용된 도구 목록 (Allowlist).
     • Intent (의도): 작업의 운영 수준 (예: 관찰용 vs 조작용).
     • Impact (영향): 도구가 수행하는 작업의 위험도 (읽기 vs 쓰기 vs 삭제).
     • Clearance (승인): 외부 HTTP 엔드포인트를 통한 리소스 수준의 승인.
   • 특징: LLM 은 게이트 결정 결과를 알 수 없으므로 (블록된 도구와 실패한 도구를 구분하지 못함), 정책 우회를 위한 적응형 공격 (Adaptive Probing) 이 불가능합니다.

2. 그래프 기반 실행 (Graph-based Execution):

   • 작업은 방향성 비순환 그래프 (DAG) 로 표현됩니다.
   • 노드 유형: Tool, Reflection (검토), Observer (관찰자), Micro-Planner (재계획), Interjection (사용자 개입), Aggregator (결과 합성).
   • 데이터 흐름: param refs를 통해 도구 간 데이터 의존성을 구조적으로 주입하여, 순차적 추론 루프 없이도 데이터를 전달합니다.

3. 적응형 실행 모드 (Adaptive Execution Modes):

   • Reflect: 의존성 파장 (Wave) 간격마다 결과를 검토하고 필요 시 재계획합니다.
   • nReflect: N 개의 노드 완료 후 주기적으로 검토합니다.
   • Orchestrator: 각 노드 완료 시 경량 관찰자가 결과를 즉시 평가하고 후속 작업을 주입합니다.

3. 주요 기여 (Key Contributions)

1. 구조적 분리 및 컨텍스트 최적화:
   • 실행 계층과 추론 계층을 분리하여 토큰 복잡도를 $O(n^2k)$에서 $O(nk)$ (Orchestrator 모드) 로 줄였습니다.
   • 각 LLM 호출이 제한된 컨텍스트 (현재 파장의 결과만) 에서 작동하도록 하여 비용과 주의를 최적화합니다.
2. 병렬성 및 스케줄링:
   • 도구 실행이 LLM 의 결정이 아닌 의존성 해결에 기반하여 병렬로 수행됩니다.
   • 지연 시간을 $O(n)$에서 의존성 깊이 $d$에 비례하는 $O(d)$로 단축합니다.
3. 구조적으로 강제된 보안 (Structurally Enforced Safety):
   • IGX 게이트는 컴파일된 코드에서 결정론적으로 권한을 부여하며, LLM 은 이를 우회할 수 없습니다.
   • 외부 승인 (Clearance) 을 통해 에이전트 프레임워크에 도메인 특화 로직이 없어도 복잡한 보안 정책을 적용할 수 있습니다.
4. 데이터 흐름 구조화:
   • param refs 메커니즘을 통해 계획 시 데이터 흐름을 정의하고 실행 시 값을 주입하여, 순차적 도구 호출 루프를 제거합니다.

4. 실험 결과 (Results)

논문은 ReAct 베이스라인과 KAIJU (3 가지 모드) 를 다양한 복잡도의 쿼리에 대해 비교 평가했습니다.

• 지연 시간 (Latency):
  • 단순 쿼리: ReAct 가 약간 빠르거나 비슷함 (계획 오버헤드 없음).
  • 복잡/계산 쿼리: KAIJU 가 압도적으로 우세함.
    • 복잡한 쿼리: nReflect(9.5s) vs ReAct(28.9s)
    • 계산 쿼리 (천문학 데이터 등): nReflect(25.2s) vs ReAct(43.7s)
  • ReAct 는 컨텍스트 폭으로 인해 10 개 중 2 개의 계산 쿼리에서 실패 (빈 출력) 했지만, KAIJU 는 모든 쿼리를 성공적으로 완료했습니다.
• 품질 및 신뢰성:
  • GAIA 벤치마크: KAIJU (Reflect 모드) 가 ReAct 보다 높은 정확도 (15.7% vs 12.6%) 와 낮은 지연 시간을 보였습니다. 특히 Level 3(고난도) 에서 KAIJU 는 21.1% 를 기록한 반면 ReAct 는 0% 였습니다.
  • 실패 처리: ReAct 는 도구 실패 시 사용자에게 의존하거나 추측 (Parametric Knowledge) 으로 넘어가는 경향이 있었으나, KAIJU 는 구조적으로 재시도 및 대체 경로를 통해 작업을 완수했습니다.
• 보안:
  • IGX 게이트는 LLM 이 정책 경계를 탐지하거나 우회할 수 없도록 구조적으로 차단하여, 적응형 공격에 대한 저항력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실행의 구조적 분리: LLM 에이전트의 신뢰성과 안전성을 프롬프트 엔지니어링이 아닌 시스템 아키텍처 수준에서 보장할 수 있음을 증명했습니다.
• 확장성: 복잡한 다단계 작업에서 ReAct 의 이차적 컨텍스트 성장 문제를 해결하여, 대규모 도구 호출이 필요한 실제 비즈니스 및 연구 환경에 적용 가능한 새로운 표준을 제시합니다.
• 보안 패러다임 전환: "모델이 안전성을 준수하도록 교육/프롬프트"하는 방식에서 "시스템이 모델의 실행을 통제"하는 방식으로의 전환을 제안하며, 특히 외부 승인 (Clearance) 을 통한 도메인 중립적 보안을 가능하게 합니다.

이 연구는 LLM 에이전트가 단순한 대화형 챗봇을 넘어, 안전하고 신뢰할 수 있으며 복잡한 작업을 수행할 수 있는 실제적인 자동화 시스템으로 발전하기 위한 핵심 인프라 (Executive Kernel) 를 제공합니다.