Brain-Prompt Injection: A Route-Safety Audit for BCI-LLM Agents

기술 요약: BCI–LLM 에이전트를 위한 브레인-프롬프트 인젝션 및 경로 안전성 감사(Route-Safety Audits)

1. 문제 정의

본 논문은 뇌-컴퓨터 인터페이스(BCI)와 대규모 언어 모델(LLM) 도구 사용 에이전트의 결합에서 발생하는 새로운 보안 취약점을 다룹니다. 이러한 아키텍처에서 디코딩된 신경 활동(예: EEG 신호)은 에이전트가 도구(예: 커서 이동, 메시지 전송)를 실행할 수 있도록 하는 권한 부여 채널 역할을 합니다. 저자들은 공격자가 신경 신호나 주변 컨텍스트를 조작하여 에이전트가 승인되지 않은 동작을 수행하도록 강제하는 **브레인-프롬프트 인젝션(brain-prompt injection)**이라 명명한 새로운 공격 표면을 식별했습니다.

본 논문은 현재의 안전 메커니즘이 공동으로 해결하지 못하는 세 가지 구체적인 실패 모드를 정의합니다:

• C1 (신호 측 섭동, Signal-Side Perturbation): 전통적인 적대적 예시(adversarial examples)와 유사하게, 디코딩된 명령을 변경하기 위해 EEG 윈도우에 가해지는 적대적 섭동입니다.
• C2 (컨텍스트 전용 인젝션, Context-Only Injection): LLM의 간접 프롬프트 인젝션과 유사하며, 공격자가 외부 컨텍스트(예: 검색된 문서 또는 시스템 프롬프트)를 수정하여 에이전트의 경로를 변경하는 것입니다. 결정적으로, EEG 신호는 "깨끗한" 상태를 유지하므로 EEG 전용 모니터링 시스템은 이 이상 징후를 감지하지 못합니다.
• C3 (적응형 이중 디코더 공격, Adaptive Dual-Decoder Attack): 공격자가 기본 디코더($f$)와 검증 디코더($f_2$) 모두가 보는 원시 입력(raw input)에 공유된 섭동을 적용하는 방식입니다. 이는 "일치(agreement)" 안전 술어(predicate)를 만족시켜(두 디코더가 동일한 타겟을 출력함) 사용자의 의도가 아닌 공격자가 선택한 타겟으로 두 디코더를 동시에 유도합니다.

핵심 문제는 기존의 안전성 주장(예: "이중 디코더 일치가 의도를 인증한다")이 수학적으로 불충분하다는 점인데, 이는 공격받은 의존성 상승(attacked dependence lift)—즉, 공유된 섭동에 의해 두 디코더가 동시에 동일한 악의적 타겟으로 유도될 공동 확률—을 고려하지 못하기 때문입니다.

2. 방법론 및 이론적 프레임워크

경로 안전성 감사 계약 (The Route-Safety Audit Contract)
저자들은 경로 안전성을 인증하기 위한 필수 조건을 정의하는 공식적인 경로 안전성 감사 계약을 제안합니다. 이 계약은 다음으로 구성됩니다:

• 로그 스키마 ($L_c$): 컨텍스트 출처(provenance), 공격받은 이차적 결정, 실행 정책, 경로 결과 등 케이스당 반드시 기록되어야 하는 최소 변수 세트.
• 분모 계층 구조 ($D_c$): 유효한 비율을 계산하는 데 필요한 특정 통계적 분모(예: 소스-타겟이 아닌 케이스, 시드 수준의 계층 구조).
• 엔드포인트 사양 ($G_c$): 정의된 합격/불합격 기준.

이론적 기여

• 감사-스키마 분리 정리 (Audit-Schema Separation Theorem): 본 논문은 특정 변수(C2를 위한 컨텍스트 출처나 C3를 위한 공격받은 이차적 결정 등)를 기록하지 않으면, 두 개의 서로 다른 감사 환경이 로그상으로는 동일해 보이지만 실제 안전성 진릿값(truth value)은 정반대일 수 있음을 증명합니다. 따라서 표준 메트릭(예: 깨끗한 일치율)은 이러한 공격 클래스에 대해 식별력을 갖지 못합니다.
• C3 공격받은 의존성 분해 (C3 Attacked-Dependence Decomposition): 저자들은 C3 공격의 위험을 세 가지 항, 즉 기본 타겟 확률($p_1$), 공격받은 조건부 일치 항($P(B|A)$), 그리고 실행 정책 항($\alpha$)으로 분해합니다. 이들은 깨끗한 일치 통계가 공격받은 공동 항($\Delta_D$)을 식별할 수 없음을 입증하며, 즉 높은 깨끗한 일치율이 공격 상황에서의 안전을 보장하지 않음을 보여줍니다.
• 컨포멀 캘리브레이션 레이어 (Conformal Calibration Layer): C3를 해결하기 위해, 독립적인 EEG 윈도우(별도의 모델로 디코딩된)를 사용하는 비-오라클 확인 채널에 **분할 컨포멀 캘리브레이션(split-conformal calibration)**을 적용합니다. 이는 다음을 요구하는 특정 위협 모델(B-strict) 하에서 허위 수락률(False Accept Rate, FAR)에 대한 이론적 경계를 설정합니다:
  1. 획득 격리 (Acquisition Isolation): 확인 윈도우는 공격자가 영향을 미칠 수 없는 세션으로부터 획득되어야 함.
  2. 확인 채널의 비제어성 (Confirmation-Channel Non-Controllability): 공격자는 확인 윈도우를 섭동할 수 없음.
     본 논문은 PGD-실현 가능성(PGD-feasibility) 논증을 통해, 만약 공격자가 확인 윈도우를 섭동할 수 있다면 균일한 FAR 경계는 존재할 수 없음을 증명합니다.

3. 실험적 검증

저자들은 60명의 피험자, 10개의 무작위 시드, 5,400개의 이벤트를 포함하는 EEGMMI 네이티브 좌/우 명령 제어 데이터를 사용하여 감사 계약을 구현했습니다.

주요 실험 결과:

• C2 취약성: 컨텍스트 출처(provenance)가 부재할 때, 컨텍스트 전용 인젝션은 1.000의 비율로 타겟 동작을 경로 지정에 성공합니다. 컨텍스트 출처가 강제될 경우 경로는 차단(0.000)되지만, EEG 측 모니터링은 여전히 공격을 감지하지 못합니다.
• C3 취약성: 공유된 원시 입력 섭동 하에서, 이중 디코더 일치는 승인되지 않은 경로 지정을 방지하지 못합니다. 일치와 출처가 모두 존재함에도 불구하고 C3의 공격 성공률은 1.000입니다.
• 확인의 효능 (Confirmation Efficacy): 독립적인 EEG 확인 윈도우(비-오라클 프록시)를 도입하면 C3 경로 지정이 크게 감소합니다.
  • 목표 허위 수락률($\alpha$)이 0.05일 때, C3 경로 지정률은 깨끗한 유틸리티(clean utility) 0.573과 함께 0.178 (95% CI [0.153, 0.206])로 떨어집니다.
  • $\alpha = 0.01$일 때, C3 경로 지정률은 깨끗한 유틸리티 0.458과 함께 0.091 (95% CI [0.073, 0.113])로 떨어집니다.
• 위협 아키타입의 필요성: 실험은 B-strict 위협 모델의 필요성을 검증합니다. 공격자가 확인 윈도우를 섭동할 수 있는 경우(아키타입 C 및 C'), FAR이 ~1.000으로 폭발하며, 이는 이론적 경계를 확인시켜 줍니다.
• 전처리 및 스트레스 테스트: 본 논문은 전처리 제약(스무딩, 밴드 제한, 시간적 이동)에 대한 일치 우회(agreement bypass)의 견고성을 테스트합니다. 결합된 제약(스무딩 + 밴드 제한)은 일치율을 0.156으로 낮추지만, 공격은 많은 현실적인 제약 하에서도 여전히 실행 가능하며, 시간적 정렬 민감성이 취약한 지점임을 식별했습니다.
• 용량 포화 (Capacity Saturation): 컨퍼머(confirmer) 모델의 용량을 변화시키며 수행한 실험(TinyEEGNet vs. EEGNetV4)은, 테스트된 범위 내에서 FAR/유틸리티 프런티어가 모델이 아닌 데이터셋에 의해 제한됨을 보여줍니다. 모델 용량을 수백 개의 파라미터 이상으로 늘려도 수익 체감(diminishing returns)이 나타납니다.

4. 주요 기여

1. 브레인-프롬프트 인젝션의 정의: 신경 신호와 LLM 컨텍스트가 상호작용하는 공격 표면을 공식화하고, 특히 C1, C2, C3 실패 모드를 식별했습니다.
2. 경로 안전성 감사 계약: 안전성 주장이 특정 로그 스키마와 분모를 필요로 함을 증명하는 이론적 프레임워크를 제시했습니다. 이는 깨끗한 일치가 의도를 인증하는 것이 아님을 확립합니다.
3. BCI를 위한 컨포멀 캘리브레이션: 분할 컨포멀 예측을 BCI 확인 채널에 적용하여, 엄격한 획득 격리 하에서의 승인되지 않은 확인 경로에 대한 엄밀하고 검증 가능한 경계를 제공합니다.
4. 실험적 구현: 실제 EEG 데이터(EEGMMI)에 대한 종합적인 감사 프로토콜을 통해 다음을 입증했습니다:
   • 출처(provenance)는 C2를 차단합니다.
   • 일치(agreement)만으로는 C3에 대응할 수 없습니다.
   • 독립적인 확인(엄격한 격리 포함)은 C3 위험을 줄이지만 완전히 제거하지는 못하며, 측정 가능한 위험-유틸리티 프런티어를 생성합니다.

5. 의의 및 주장

본 논문은 자신의 기여를 일반적인 배포 보증이나 물리적 공격 시연이 아닌, 좁은 범위의 테스트 가능한 감사 프로토콜로 규정합니다.

• 겸손한 주장: 저자들은 자신들이 배포된 BCI의 보급률, 물리적 인젝션의 실현 가능성 또는 인간의 동의를 추정하는 것이 아님을 명시합니다. 실험은 오프라인 권한 감사입니다.
• 핵심 의의: 주요 기여는 경로 안전성 주장은 클래스별로 구별되어야 함을 입증하는 데 있습니다. C1(신호 섭동)에 유효한 안전 인증은 C2(컨텍스트 인젝션)나 C3(적응형 일치)에는 불충분합니다.
• 실질적 시사점: 본 논문은 이중 디코더 일치를 충분한 안전 술어로 취급하는 것에 반대합니다. 대신, 출처 로깅, 독립적인 확인 채널(엄격한 격리 포함), 그리고 안전성 주장을 거짓으로 입증하기 위한 클래스별 분모를 포함하는 안전 스택을 옹호합니다.
• 한계점: 본 연구는 일간 비정상성(cross-day non-stationarity), 헤드셋 재착용, 임피던스 드리프트 등 현재 데이터셋에서 다루지 않은 개방된 가정들을 인정합니다. "라이브 라우터(live router)" 브릿지는 트랜스크립트 체크이며, 실시간 에이전트 검증은 아닙니다.

요약하자면, 본 논문은 현재의 BCI-LLM 안전 메커니즘이 특정 결합 공격 벡터에 대해 맹목적임을 보여주는 엄밀한 수학적 및 경험적 프레임워크를 제공하며, 이러한 위험을 측정 및 검증 가능하게 만들기 위한 최소한의 감사 스키마와 컨포멀 캘리브레이션 레이어를 제안합니다.