The End of Human Judgment in the Kill Chain? Relocating Initiative and Interpretation with Agentic AI

논문 요약: 사살 루프 (Kill Chain) 에서의 인간 판단의 종말? 에이전트 AI 를 통한 주도권과 해석의 이동

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 기반 에이전트 (Agentic AI) 가 군사 작전의 핵심 기능인 정보 분석, 데이터 융합 (Data Fusion), 전장 관리 (Battlefield Management) 에 점차 통합되고 있음.
• 핵심 문제: 기존 AI 와 달리 LLM 기반 에이전트는 주도성 (Initiative), 해석 능력 (Interpretation), 목표 지향성 (Goal-orientedness), 동적 기억 (Dynamic Memory) 을 갖추고 있어 전술적으로 매우 매력적임. 그러나 저자는 이러한 특징들이 오히려 사살 루프 (Kill Chain) 의 해당 구간에서 맥락에 적합한 인간 판단과 통제 (Context-appropriate Human Judgment and Control) 를 실질적으로 무력화한다고 주장함.
• 규제와의 충돌: GGE-CCW(특정 재래식 무기 협약) 나 REAIM(책임 있는 AI 군사 활용을 위한 국제 회의) 등 기존 거버넌스 프레임워크는 무기 시스템의 사용에 '인간 판단'을 필수적으로 요구하고 있음. 하지만 LLM 에이전트의 작동 방식은 이러한 요구사항을 충족할 수 없게 만들어, 윤리적 및 법적 사용이 불가능한 상황을 초래할 수 있음.

2. 연구 방법론 (Methodology)

• 사례 연구 및 개념 분석: 안두릴 (Anduril) 의 'Lattice'와 같은 전장 관리 플랫폼을 예시로 들어, LLM 기반 에이전트가 데이터 융합 및 지휘 통제 (C2) 에서 어떻게 작동할지 시나리오를 구축함.
• 특성 분석: LLM 기반 에이전트의 4 가지 핵심 기능 (주도성, 해석, 목표 지향성, 동적 기억) 을 정의하고, 이러한 기능이 기존 AI(규칙 기반 또는 단순 ML) 와 어떻게 다른지 기술적 차이점을 분석함.
• 규범적 및 인식론적 권위 (Normative and Epistemic Authority) 재배치 분석:
  • 규범적 권위: 도덕적/법적 선택을 할 권리와 힘.
  • 인식론적 권위: 신념을 형성하고 판단을 내릴 의무와 권리.
  • 이 두 권위가 인간에서 기계 (에이전트) 로 이동함으로써 인간 통제가 무의미해지는 과정을 논증함.
• 정책 검토: 국제적 논의 (GGE-CCW, REAIM) 에서 요구하는 '인간 통제'의 정의와 LLM 에이전트의 실제 작동 방식 간의 괴리를 비교 분석.

3. 주요 기여 및 핵심 논지 (Key Contributions)

이 논문은 LLM 기반 에이전트가 전장 환경에서 가져오는 새로운 위험과 인간 통제의 한계를 다음과 같이 체계화함.

• LLM 에이전트의 4 가지 핵심 기능과 그 위험성:

  1. 주도성 (Initiative): 에이전트가 인간 개입 없이 스스로 센서를 할당하고, 추가 데이터 수집을 결정하며, 인간에게 문의할 시기를 판단함. 이로 인해 규범적/인식론적 권위가 인간에서 기계로 이동함.
  2. 해석 (Interpretation): 비정형 데이터 (음성, 이미지, 보고서 등) 를 실시간으로 해석하고 맥락에 따라 규칙을 재해석함. 이는 불투명성 (Opacity) 을 심화시켜 결과에 대한 책임 소재를 불분명하게 만듦.
  3. 목표 지향성 (Goal-orientedness): 상위 명령을 하위 목표 (Sub-goals) 로 분해하고, 상황 변화에 따라 동적으로 우선순위를 재설정함. 이는 지휘관의 의도 (Intent) 를 에이전트가 재개념화하게 하여, 최종 행동이 인간의 원래 의도와 괴리될 수 있음을 의미함.
  4. 동적 기억 (Dynamic Memory): 과거 경험과 맥락을 실시간으로 참조하여 현재 판단에 영향을 줌. 이는 맥락을 동적으로 재구성하여, 동일한 상황이라도 에이전트의 과거 학습에 따라 다른 판단을 내리게 함.

• 인간 판단의 무력화 (Ineffectual Human Judgment):

  • 데이터 융합과 정보 분석은 사살 루프에서 표적 선정의 핵심 결정 요인임.
  • LLM 에이전트가 이 과정을 수행할 때, 인간은 최종 결정권을 가질지라도 결정의 근거가 되는 데이터와 맥락 해석은 이미 에이전트에게 의해 선별되고 재구성됨.
  • 따라서 인간의 최종 승인 (Sign-off) 은 형식적일 뿐 (Window dressing), 실제 결과에 대한 설명 (Explanation) 과 정당화 (Justification) 에서 인간 판단의 역할을 대체할 수 없음.

4. 연구 결과 (Results)

• 결론 1: 데이터 융합 및 전장 관리에 특화된 LLM 기반 에이전트 일부는 현재 및 가시적인 미래 조건 하에서 전장에서 정당하게 사용될 수 없음.
• 결론 2: 이러한 에이전트는 인간 통제 하에 두는 것이 불가능한 수준으로 인간 판단을 대체하므로, 기존 국제 거버넌스 (GGE-CCW, REAIM 등) 가 요구하는 '맥락에 적합한 인간 통제' 조건을 충족하지 못함.
• 결론 3: 단순히 '인간이 최종 결정을 내린다'는 주장으로는 충분하지 않음. 인간이 판단의 핵심 원인 (Causal Driver) 이 되어야 하는데, LLM 에이전트는 데이터와 맥락을 필터링하여 인간이 판단할 수 있는 영역을 축소시킴.

5. 의의 및 정책적 제언 (Significance & Recommendations)

• 현실적 접근: LLM 에이전트의 사용을 전면 금지하는 것은 비현실적이므로, 새로운 거버넌스 전략이 필요함.
• 제안된 대응 방안:
  1. 위험 완화 전략의 재정의: 인간 통제에 대한 과도한 의존을 탈피하고, 인간 판단이 실질적으로 작용할 수 없는 구간에서는 다른 위험 완화 전략을 모색해야 함.
  2. 새로운 검증 방법론 (TEVV) 개발: 기존 테스트를 넘어, 레드 팀링 (Red Teaming), 실제 환경 검증, 그리고 인간 - 기계 팀 (Human-Machine Teams) 을 활용한 검증이 필요함.
  3. 강력한 감독 메커니즘 도입: LLM 에이전트 자체의 감독을 위해 '역사적 시나리오 처리 (Counterfactual real-time processing)', '가드레일 (Guardrails)', LLM 이 해석하지 않는 오케스트레이션 레이어의 요소 등을 도입해야 함.
  4. 인간 판단의 범위 재설정: 인간 판단이 결과와 얼마나 떨어져 있을 수 있는지에 대한 명확한 기준을 마련해야 함. 이는 안전, 책임 소재, 인간 존엄성 등 목적에 따라 달라져야 하며, 인간이 에이전트의 감독을 하는 경우에도 그 판단이 실제 전장 결과의 직접적 동인이 아님을 인정해야 함.

종합적 의의:
이 논문은 AI 기술의 발전이 단순히 '자동화'를 넘어 '해석과 판단의 주도권'을 인간에게서 빼앗고 있음을 지적하며, 기존 국제법과 윤리 규범이 이러한 새로운 형태의 자율성을 어떻게 수용하거나 제한해야 하는지에 대한 근본적인 질문을 던짐. 특히, 데이터 융합 단계에서의 인간 통제 부재가 전체 사살 루프의 윤리적 정당성을 훼손한다는 점을 강조하여, 군사 AI 거버넌스 논의에 중요한 전환점을 제시함.