기술 요약: 프런티어에서 섀도 AI로: 핵심 인프라의 보증 및 보안에 대한 잠재적 위협

1. 문제 정의

본 논문은 핵심 인프라(Critical Infrastructure, CI) 환경 내에서 프런티어 AI 시스템(예: 거대 언어 모델, 에이전트 도구)의 비공식적이고 승인되지 않은 사용인 **섀도 AI(Shadow AI)**의 출현을 다룬다. CI에서의 공식적인 AI 도입은 엄격한 감독(예: 호주의 SOCI 법안)으로 인해 매우 규제적이고 신중하게 이루어지는 반면, 프런티어 AI의 낮은 진입 장벽은 광범위한 비공식적 사용을 촉진했다.

핵심 문제는 섀도 AI가 확립된 조직적 통제 외부에서 작동하여 "보증 침식(assurance erosion)"이라는 체계적인 사회-기술적 조건을 생성한다는 점이다. 섀도 AI는 악의적인 행위자에 의한 전통적인 보안 위협과 달리, 생산성 향상을 추구하는 비악의적 내부자에 의해 발생하는 경우가 많다. 이러한 행위는 보증 메커니즘을 우회하며 다음과 같은 결과를 초래한다:

• 데이터 보호 리스크: 모니터링되지 않는 데이터 흐름과 외부 벤더로의 민감한 운영 또는 고객 데이터 노출 가능성.
• 의사결정 신뢰성 리스크: 운영 워크플로우에 비결정론적이고 검증되지 않은 AI 출력값이 도입됨.
• 규제 준수 리스크: 의사결정의 기원(provenance)을 재구성하거나, AI 매개 행동을 감사하거나, CI 규제 프레임워크의 기초가 되는 실사(due diligence)를 입증할 수 없는 능력의 결여.

본 논문은 명확히 경계가 획정된 시스템과 관찰 가능한 행동을 가정하는 기존의 보안 및 거버넌스 프레임워크가 섀도 AI의 비공식적, 분산적, 부분적으로 가시적인 특성과 맞지 않는다고 주장한다.

2. 연구 방법론

본 연구는 로그나 사고 데이터만으로는 완전히 포착할 수 없는 보안 및 거버넌스 현상으로서의 섀도 AI를 조사하기 위해 질적 인터뷰 기반 접근 방식을 채택한다.

• 데이터 수집: 2025년 12월부터 2026년 4월 사이에 27개 호주 CI 조직을 대표하는 32명의 참여자를 대상으로 반구조화된 인터뷰를 실시하였다.
• 분야: 통신, 에너지, 수도 및 하수도.
• 참가자: AI 리스크, 컴플라이언스, 보안 및 거버넌스를 담당하는 고위 경영진, 기능적 리더 및 관리자.
• 분석: 교차 사례 비교를 위한 구조적 추출과 참여자들이 섀도 AI, 관련 리스크 및 거버넌스 관행을 어떻게 이해하는지 해석하기 위한 성찰적 주제 분석(reflexive thematic analysis)을 결합한 하이브리드 질적 접근법을 사용하였다.
• 범위: 본 연구는 조직적 관행, 의사결정 구조, 그리고 규제 체계의 교차점에 초점을 맞추며, 특히 섀도 AI가 실제 현장에서 어떻게 나타나고 기존 통제와 어떻게 상호작용하는지를 조사한다.

3. 주요 기여

본 논문은 CI 보안 및 AI 거버넌스 분야에 세 가지 주요 기여를 한다:

1. 실증적 특성화: 일반적인 조직 연구를 넘어 안전 필수(safety-critical) 맥락 내에서의 섀도 AI 관행에 대한 첫 번째 실증적 분석을 제공한다.
2. 상호작용 분석: 섀도 AI가 기존의 기술적, 조직적, 거버넌스 통제와 어떻게 상호작용하는지 구조적으로 분석하여, 구체적인 붕괴 지점과 사각지대를 식별한다.
3. 위협 모델 및 개념적 프레임워크: **"보증 침식(Assurance Erosion)"**이라는 개념을 통합 프레임워크로 도입한다. 보안 저하의 세 가지 주요 메커니즘을 식별하는 실증적 유도 위협 모델을 개발하여, 섀도 AI를 단순한 정책 미준수가 아닌 체계적인 사회-기술적 리스크로 재정의한다.

4. 주요 결과 및 발견 사항

확산 및 사용의 성격

• 광범위한 채택: 섀도 AI는 만연해 있으며, 일부 조직에서는 참여자들의 추정에 따라 "80~90%에 가까운 사람들" 사이에서 사용되는 것으로 나타났다. 이는 운영 인력, 개발자, 권한 있는 기술직 등 조직 전반에 걸쳐 나타나는 현상이다.
• 인간 참여형(Human-in-the-Loop): 현재 사용은 주로 대화형 및 인간 참여형(예: 초안 작성, 요약, 코딩 보조)이다. 에이전트형 AI(agentic AI)나 자율형 시스템이 프로덕션 워크플로우에 통합된 증거는 발견되지 않았다.
• 지속성: 섀도 AI는 종종 공식적인 대안 도구(예: Microsoft Copilot)가 배포된 이후에도 기능이나 접근성의 격차로 인해 지속되며, 공식 도구보다 먼저 등장하기도 한다.

섀도 AI의 동인

연구는 섀도 AI가 무모한 행동이라기보다 운영 요구에 따른 합리적인 대응임을 밝힌다. 주요 동인은 다음과 같다:

• 생산성 압박: 초안 작성, 요약, 아이디어 구상에 소요되는 시간을 절약하려는 필요성.
• 접근성: 개인 및 기업용 기기에서 공용 도구(예: ChatGPT, Gemini)에 대한 진입 장벽이 낮음.
• 거버넌스 지연: AI 혁신 속도를 따라잡지 못하는 느린 규제 및 조달 주기.
• 인프라 격차: 내부 합성(internal synthesis)을 방해하는 레거시 시스템과 파편화된 데이터로 인해 사용자들이 외부 AI 솔루션을 찾게 됨.
• 경영진의 신호: 혁신에 대한 리더십의 열의가 공식적인 거버넌스가 뒤처진 상태에서도 실험을 암묵적으로 허용함.

관찰된 리스크 및 사고

• 데이터 노출: 식별된 가장 심각한 리스크는 민감한 정보(설계도, 규제 초안, 내부 설문조사 등)가 공용 AI 도구로 노출되는 것이다. 참여자들은 이를 종종 "무해한" 것으로 간주하지만, 이러한 사건은 승인되지 않은 데이터 유출에 해당한다.
• 내부자 유출: 공용 AI 인터페이스는 신뢰 기반 거버넌스와 기술적 차단 기능의 부재로 인해 저비용의 데이터 유출 경로 역할을 한다.
• 미평가된 역량 확장: 승인된 엔터프라이즈 도구에 내장된 AI 기능(예: 벤더 업데이트)은 공식적인 리스크 평가를 우회하여 보증 사각지대를 생성한다.
• 관측성 상실: 섀도 AI 상호작용은 기록(log)이 남지 않는 경우가 많아, 데이터 흐름 및 의사결정 영향력에 대한 상황 인식 능력을 상실하게 한다.
• 규제 격차: AI 매개 의사결정에 대한 감사 추적(audit trail)의 부재는 CI 규제에서 요구하는 사고 후 재구성 및 증거 보고를 어렵게 만든다.

조직적 대응

조직은 엄격한 금지에서 계층적 통제 전략으로 전환하고 있다:

• 대체(Substitution): 공용 도구에 대한 의존도를 낮추기 위해 승인된 대안(예: Copition)을 제공함.
• 모니터링(Monitoring): 전면적인 차단 대신 가시성을 확보하기 위해 DLP 및 모니터링 도구를 사용함.
• 교육(Education): 교육과 인식 제고에 집중하지만, 이는 섀도 AI 문제를 명시적으로 해결하지 못하는 경우가 많음.
• 한계: 참여자들은 차단만으로는 효과적이지 않다는 회의론을 표하며, 제한 조치가 오히려 개인 기기로의 사용을 유도하거나 우회 방법(예: 화면 캡처)을 조장한다고 언급함.

5. 섀도 AI 위협 모델

본 논문은 전통적인 적대적 침해보다는 **보증 침식(Assurance Erosion)**에 중심을 둔 위협 모델을 제안한다. 이 모델은 섀도 AI가 보안을 저하시키는 세 가지 메커니즘을 식별한다:

1. 경계 우회(Boundary Bypass): 데이터 흐름이 외부 공용 AI 사용을 통해 설정된 경계를 우회하며, 이로 인해 모니터링되지 않는 데이터 처리와 유출 가시성 상실이 발생한다.
2. 미평가된 역량 확장(Unassessed Capability Expansion): 승인된 시스템에 내장된 AI 기능이 공식적인 거버넌스 검토 없이 잠재적 리스크와 새로운 추론 경로를 도입하여, 승인된 시스템 내의 유효 공격 표면을 확장한다.
3. 관측성 상실 (거버넌스 우회): 권한 있는 사용자나 로컬 확장 기능(예: 로컬 RAG 모델)이 로깅 및 감사 메커니즘을 우회하여, 포렌식 감사 가능성과 최소 권한 원칙 집행을 약화시킨다.

위협 특성:

• 사회-기술적(Socio-Technical): 인간의 행동, 도구의 기능성, 거버넌스 구조 간의 상호작용에서 발생한다.
• 점진적 및 누적적(Incremental and Cumulative): 저강도의 경계 침범이 정상화됨에 따라 리스크가 축적된다.
• 분산적 및 불투명함(Diffuse and Opaque): 기존의 모니터링이나 DLP 메커니즘으로는 부분적으로 관측이 불가능한 경우가 많다.

6. 의의 및 주장

본 논문은 섀도 AI가 기존 보안 및 컴플라이언스 프레임워크를 근본적으로 위협하는 **제1차 리스크(first-order risk)**라고 주장한다. 그 의의는 다음과 같다:

• 위협의 재정의: 초점을 외부 적대자나 악의적인 내부자에서 비악의적, 내부자 주도의, AI 매개 노출 경로로 전환한다.
• 보증 침식 강조: 주요 위험이 반드시 즉각적인 파멸적 실패에 있는 것이 아니라, 감사 가능성, 책임성 및 증거 보고를 위한 조건을 점진적으로 약화시키는 데 있음을 입증한다.
• 정책적 시사점: 전통적인 "차단 또는 허용" 방식은 불충분하다고 주장한다. 대신, CI 운영자는 분산된 AI 매개 추론과 운영 요구 및 거버넌스 시스템 간의 구조적 불일치를 해결할 수 있는 맞춤형, 경로 정렬형 거버넌스 전략이 필요하다.

본 연구는 연구 기간 동안 중대한 파멸적 사고는 관찰되지 않았으나, 섀도 AI의 만연한 흐름은 구조적 불일치가 해결되지 않을 경우 향한 보안, 거버넌스 또는 컴플라이언스 실패의 위험이 높아지고 있음을 시사한다고 결론짓는다.