Resilience Meets Autonomy: Governing Embodied AI in Critical Infrastructure

1. 문제 제기 (Problem)

중요 인프라 (Critical Infrastructure, CI) 는 에너지, 교통, 물, 디지털 인프라 등 사회의 핵심 기능을 유지하는 자산으로, 최근 모니터링, 예측 유지보수, 의사결정 지원을 위해 신체화 AI (Embodied AI, EAI) 를 광범위하게 도입하고 있습니다. 그러나 기존 AI 시스템은 통계적으로 표현 가능한 불확실성 (historical data 기반) 을 처리하도록 설계된 반면, 실제 중요 인프라는 시스템적 불확실성 (Systemic Uncertainty) 과 예상치 못한 충격 (Systemic Surprise) 에 직면해 있습니다.

주요 문제는 다음과 같습니다:

• 시스템적 놀라움 (Systemic Surprise): 훈련 데이터에 없는 새로운 상황, 연쇄적 실패 (Cascading Failures), 그리고 복잡한 사회기술적 시스템의 비선형적 붕괴는 기존 AI 의 예측 능력을 벗어납니다.
• 자율성의 한계: 완전한 자동화 (Full Automation) 는 예상치 못한 위기 상황에서 예측 불가능한 행동을 하거나, 인간이 개입하기 전에 치명적인 오류를 범할 수 있습니다.
• 거버넌스 공백: 완전한 자동화와 단순한 인간 개입 (Human Override) 사이에서, 안전이 중요한 환경에서 기계의 자율성과 인간의 판단이 어떻게 조화되어야 하는지에 대한 명확한 거버넌스 프레임워크가 부재합니다.

2. 방법론 (Methodology)

이 논문은 이론적 분석과 규범적 프레임워크 구축을 통해 문제를 접근합니다.

• 문헌 연구 및 규제 분석: EU AI Act(2024), ISO 안전 표준 (ISO/IEC TR 5469:2024, ISO/IEC TS 8200:2024), 위기 관리 연구, 그리고 안전 공학 문헌을 종합하여 분석했습니다.
• 개념적 프레임워크 개발: '제한된 자율성 (Bounded Autonomy)'과 '하이브리드 거버넌스 아키텍처' 개념을 도입하여, 기계 능력과 인간의 상황적 판단을 구조적으로 배분하는 모델을 제시합니다.
• 분류 체계 수립: 중요 인프라의 작업 복잡성, 위험 수준, 결과의 심각성에 따라 4 가지 감시 모드 (Oversight Modes) 를 정의하고, 이를 다양한 중요 인프라 분야 (에너지, 교통, 물, 의료 등) 에 적용 가능한 EAI 시나리오에 매핑했습니다.

3. 주요 기여 (Key Contributions)

이 논문의 핵심 기여는 4 가지 감시 모드 (Oversight Modes) 를 정의하고, 이를 중요 인프라의 신체화 AI 적용 사례에 구체적으로 매핑한 것입니다.

가. 4 가지 감시 모드 (Oversight Modes)

1. 완전 AI 자동화 (Fully AI-Automated / Human-out-of-the-Loop):
   • 특징: 사전 정의된 안전 제약 내에서 인간 개입 없이 운영.
   • 적용: 초고속 응답이 필요한 경우 (예: 스마트 그리드의 밀리초 단위 부하 균형 조정).
2. 인간 - 루프 상 (Human-on-the-Loop / HOTL):
   • 특징: 시스템이 자율 운영되지만 인간이 감시하며 필요시 개입/제어권 회수 가능.
   • 적용: 예측 유지보수, 정상 상태 운영.
3. 인간 - 루프 내 (Human-in-the-Loop / HITL):
   • 특징: 고위험 또는 안전 관련 결정 시 인간의 명시적 승인 필수.
   • 적용: 서비스 복구, 재구성, 큰 물리적/사회적 피해를 초래할 수 있는 결정.
4. 인간 - 지휘 하 (Human-in-Command / HIC):
   • 특징: 인간이 목표, 안전 한계, 규칙을 전략적 수준에서 정의하고 AI 는 이 범위 내에서만 운영.
   • 적용: 대규모 인프라 고장, 사이버 전쟁, 윤리적 딜레마가 있는 위기 관리 상황.

나. 신체화 AI (EAI) 의 취약점 분석 및 매핑

논문은 EAI 가 직면한 3 가지 취약점을 분석하고 이를 중요 인프라 분야별 적용 사례와 연결했습니다.

• 외생적 취약점 (Exogenous): 적대적 공격, 데이터 중독, 환경적 교란.
• 내생적 취약점 (Endogenous): 센서 한계, 하드웨어 마모, 소프트웨어 결함.
• 혼합 취약점 (Mixed): 외부 압력이 내부 약점을 악용하여 발생하는 결합된 고장.

표 2 (Table II) 를 통한 구체적 매핑 예시:

• 에너지 인프라: 송전탑/파이프라인 점검용 드론/로봇. (HOTL/HITL 적용, 대규모 정전 시 HIC)
• 교통 시스템: 자율주행차, 무인 선박. (일상 시 HOTL, 사고/긴급 시 HITL/HIC)
• 물/디지털 인프라: 터널/해저 케이블 점검 로봇. (HOTL 일상 점검, 안전/서비스 연속성 관련 개입 시 HITL)
• 의료/식품: 수술 보조 로봇, 농업 로봇. (기본적 HITL, 전략적/윤리적 결정 시 HIC)

4. 결과 및 시사점 (Results & Implications)

• 단일 모드 부재: 중요 인프라의 복잡성과 위기 상황의 다양성으로 인해 단일한 자율성 수준 (완전 자동화 또는 완전 수동) 은 부적합합니다.
• 하이브리드 거버넌스의 필요성: 시스템은 작업의 복잡성과 위험도에 따라 4 가지 모드 사이를 동적으로 전환하거나 병행해야 합니다.
  • 예시: 일상적인 모니터링은 HOTL 로 운영되다가, 예상치 못한 위기 (Systemic Surprise) 가 발생하면 HIC 모드로 전환하여 인간이 전략적 판단을 내리는 구조가 필요합니다.
• 인지 과부하 해결: AI 가 생성한 방대한 정보가 인간 운영자의 인지 과부하 (Cognitive Overload) 를 유발할 수 있으므로, AI 는 인간이 이해하고 처리할 수 있는 형태로 정보를 필터링하고 우선순위를 매겨 제공해야 합니다.
• 책임 소재 명확화: 자율성 수준을 명확히 구분함으로써 설계자, 운영자, 인프라 소유자 간의 책임 소재를 명확히 하고, 윤리적/법적 책임 소재를 확보할 수 있습니다.

5. 의의 (Significance)

이 논문은 AI 가 중요 인프라의 탄력성 (Resilience) 을 강화할 수 있지만, 인간의 판단을 대체해서는 안 된다는 핵심 주장을 체계적으로 뒷받침합니다.

• 규제적 실용성: EU AI Act 와 같은 광범위한 규제 프레임워크를 실제 운영 환경 (Operational Context) 에 적용 가능한 구체적인 거버넌스 모델로 전환하는 데 기여합니다.
• 안전 공학적 접근: 기능적 안전 (Functional Safety) 과 제어 가능성 (Controllability) 을 중심으로 AI 자율성을 정의함으로써, 안전이 중요한 분야에서 AI 도입의 새로운 기준을 제시합니다.
• 미래 지향성: 단순한 기술 효율성 향상을 넘어, 예측 불가능한 위기 상황에서도 사회 시스템이 생존하고 적응할 수 있는 인간 중심의 자율 시스템 (Human-centric Autonomous Systems) 설계의 방향성을 제시합니다.

결론적으로, 이 연구는 중요 인프라에서 AI 의 자율성이 어떻게 제한되고 (Bounded), 감독되며 (Supervised), 책임 소재가 부여될지 (Assigned) 에 대한 구조적인 해법을 제시하여, AI 와 인간의 협업을 통한 시스템의 회복탄력성을 극대화하는 방안을 모색합니다.