Differential fuzz testing to detect tampering in sensor systems and its application to arms control authentication

이 논문은 핵무기 검증 시스템의 하드웨어 및 소프트웨어 무결성을 보장하기 위해, 정상 시스템과 피드백된 시스템의 출력 시계열을 비교하여 변조 여부를 탐지하는 '물리적 차변 퍼징 테스트' 개념을 제안하고 나트륨 요오드화물 (NaI) 감마선 분광기를 이용한 실증 실험을 통해 그 유효성을 입증합니다.

핵심

🕵️‍♂️ 핵심 아이디어: "시스템을 혼란스럽게 만들어 정체를 드러내라"

핵무기 조약 (예: 미국과 러시아 간의 핵무기 감축) 에서는 서로가 핵무기를 숨기지 않고 제대로 폐기했는지 확인해야 합니다. 하지만 감시 장비 자체를 조작해서 "핵물질이 없다"는 거짓 데이터를 보여주는 악의적인 공격이 가능할 수 있습니다.

이 논문은 **"시스템에 무작위적인 질문 (입력) 을 쏟아부어서, 평소의 반응과 비교해 보면 조작 여부를 알 수 있다"**는 아이디어를 제시합니다.

🎲 비유: "요리사의 맛 테스트"

가상의 상황을 상상해 보세요.

1. 정직한 요리사 (감시 시스템): 어떤 요리를 만들 때, 소금, 설탕, 후추의 양을 무작위로 바꿔가며 요리를 해봅니다. 이때 나오는 요리의 맛 (데이터) 을 기록해 둡니다. 이것이 **'기준 맛 (Baseline)'**입니다.
2. 사기꾼 (해커): 요리사가 감시관에게 장비를 맡겨두고, 몰래 주방에 숨어 요리를 해치는 장치를 설치합니다. "오늘은 특별한 날이니까 소금 양을 10% 줄여라"라는 명령을 내립니다.
3. 검증 과정: 감시관이 다시 돌아와서 같은 무작위 질문 (소금 양을 1g, 2g, 3g... 무작위로) 을 던집니다.
   • 조작되지 않은 경우: 평소와 똑같은 맛이 나옵니다.
   • 조작된 경우: 평소의 '기준 맛'과 비교했을 때, 특정 조건 (예: 오후 2 시~3 시 사이) 에만 소금 양이 이상하게 변한 요리가 나옵니다.

이처럼 **무작위적인 입력 (퍼지, Fuzz)**을 통해 시스템의 반응을 테스트하고, 그 결과가 평소와 다르면 "아! 누군가 장비를 건드렸다!"라고 알람을 울리는 것이 이 기술의 핵심입니다.

---

🛠️ 이 기술이 어떻게 작동하나요?

이 논문에서는 방사선 측정기 (핵무기의 방사선을 감지하는 장비) 를 실험실로 가져와서 테스트했습니다.

1. 1 단계: 기준 만들기 (Baseline)

   • 감시관이 장비를 가지고 와서 전압, 펄스 폭, 시간 등 다양한 설정을 무작위로 바꿔가며 방사선 측정을 100 번 반복합니다.
   • 이때 나오는 방사선 데이터 패턴을 **'지문'**처럼 저장해 둡니다.

2. 2 단계: 장비 인도 및 인증

   • 장비를 감시 대상국 (예: 러시아) 에게 넘겨줍니다. 이 과정에서 해커가 장비를 조작할 수 있습니다.
   • 해커의 전략: "방사선 데이터가 너무 적게 나오면, 자동으로 데이터를 복사해서 양을 늘려주는 악성 코드를 심는다."

3. 3 단계: 재테스트 (차분 테스트)

   • 감시관이 장비를 다시 가져와서 1 단계와 똑같은 무작위 설정으로 다시 100 번 측정합니다.
   • 결과 비교: 두 번의 측정 데이터를 비교합니다.
     • 정상: 두 데이터가 통계적으로 거의 같습니다. (소금 맛 차이가 미미함)
     • 조작됨: 특정 조건에서 데이터가 크게 달라집니다. (소금 맛이 확연히 다름)

---

⚔️ 해커의 두 가지 공격과 방어

논문은 해커가 시도할 수 있는 두 가지 공격을 시뮬레이션했고, 이 기술이 이를 어떻게 막는지 보여줍니다.

1. 시간 기반 공격 (Time-based Attack)

• 공격: 해커는 "평일 오후 2 시~3 시에만" 악성 코드가 작동하도록 설정합니다. 이 시간대에 핵무기를 검사하면 데이터를 조작해서 핵물질이 있는 것처럼 보이게 합니다.
• 방어: 감시관은 무작위로 시간을 입력값으로 섞어 테스트합니다.
  • 평소에는 오후 2 시가 아닐 때 테스트를 하다가, 갑자기 오후 2 시에 테스트를 하면 해커의 코드가 작동합니다.
  • 이때 나오는 데이터는 평소의 '기준 지문'과 맞지 않아 **경보 (Alarm)**가 울립니다.

2. 데이터 양 기반 공격 (Counts-based Attack)

• 공격: 해커는 방사선 데이터의 총량이 특정 기준보다 적으면, 데이터를 임의로 복사해서 늘려줍니다. (핵물질이 빠져나갔을 때 이를 숨기기 위함)
• 방어: 감시관은 전압이나 이득 (Gain) 같은 설정을 무작위로 바꿉니다.
  • 설정을 바꾸면 방사선 데이터의 총량이 자연스럽게 변합니다.
  • 해커는 "아, 데이터가 적네? 복사해서 늘려줘!"라고 반응하지만, 이는 정상적인 설정 변화에 대한 반응이 아닙니다.
  • 결과적으로 데이터 패턴이 완전히 엉망이 되어 경보가 울립니다.

---

💡 왜 이 기술이 중요한가요?

기존의 보안 방법은 "소스 코드를 해시 (Hash) 로 비교한다"는 식이었습니다. 하지만 해커는 코드를 직접 건드리지 않고, 환경 변수나 라이브러리만 살짝 바꿔서 코드를 실행할 수도 있습니다.

이 퍼지 테스트는 코드를 직접 보지 않아도 됩니다. **"시스템이 어떻게 반응하는가?"**라는 행동 자체를 테스트하는 것이기 때문에, 코드가 어떻게 변했든 **전체 시스템 (하드웨어 + 펌웨어 + 소프트웨어 + 환경)**이 조작되었다면 100% 잡아낼 수 있습니다.

📝 결론

이 논문은 **"핵무기 감시 장비를 무작위로 혼란스럽게 만들어, 평소의 반응과 비교하면 조작 여부를 쉽게 알아낼 수 있다"**는 것을 증명했습니다.

• 비유하자면: 감시관이 장비를 "무작위 질문"으로 시험치기 하듯 테스트하는 것입니다.
• 효과: 해커가 아무리 정교하게 숨겨도, 무작위적인 상황 변화에 반응하는 시스템의 '지문'이 달라지기 때문에 들통납니다.

이는 미래의 핵무기 감시뿐만 아니라, 모든 중요한 사이버 - 물리 시스템 (자율주행차, 발전소 등) 의 안전을 지키는 강력한 도구가 될 수 있습니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 미래의 핵무기 군축 조약에서는 검증 측정 시스템의 하드웨어 및 소프트웨어 구성 요소가 의도대로 작동하고 있으며, 악의적인 행위자 (주로 감시 대상국) 에 의해 변조되지 않았음을 인증 (Authentication) 할 수 있어야 합니다.
• 기존 방법의 한계: 소스 코드 해싱 (hashing) 이나 정적 분석 (static analysis) 과 같은 기존 방법은 소프트웨어 무결성을 확인하는 데 도움이 될 수 있지만, 환경 변수 (environment variables), 외부 라이브러리, 펌웨어, 또는 방사선 측정 시스템의 하드웨어 자체에 대한 변조는 탐지하지 못할 수 있습니다.
• 핵심 과제: 악의적인 호스트가 검증 시스템을 우회하여 핵무기나 핵물질을 은닉하거나 위조하는 것을 방지하기 위해, 시스템의 전체적인 동작 (사이버 - 물리 시스템 전체) 을 포괄적으로 테스트하고 변조 여부를 실시간으로 감지할 수 있는 새로운 인증 메커니즘이 필요합니다.

2. 방법론 (Methodology)

이 논문은 물리적 차분 퍼지 테스팅 (Physical Differential Fuzz Testing) 개념을 도입하여 문제를 해결합니다.

• 개념:

  • 퍼지 (Fuzzing): 변조되지 않은 기준 시스템 (Reference System) 의 파라미터 공간 (정상 및 비정상 값 포함) 을 무작위로 샘플링하여 입력 시퀀스를 생성합니다.
  • 기준 서명 (Baseline Signature): 이 입력에 대한 시스템의 출력 시계열 데이터를 기록하여 기준 서명을 만듭니다.
  • 차분 비교 (Differential Comparison): 이후 검증 단계에서 동일한 입력 시퀀스를 다시 실행하여 얻은 출력과 기준 서명을 비교합니다.
  • 변조 탐지: 두 출력 시퀀스가 통계적으로 일치하지 않으면 시스템이 변조되었다고 간주하여 경보를 발령합니다.

• 통계적 처리 (노이즈 대응):

  • 방사선 검출은 본질적으로 확률적 (포아송 노이즈) 이므로, 출력값이 완전히 일치할 것으로 기대할 수 없습니다.
  • 이를 해결하기 위해 수정된 감마선 스펙트럼 비교 지표인 $\chi^2/\nu$ (감소된 카이제곱) 를 사용합니다.
  • 식: $(\chi^2/\nu)_i = \frac{1}{J} \sum_{j=1}^{J} \frac{(p_{ij} - p'_{ij})^2}{p_{ij} + p'_{ij}}$
  • 여기서 $p$와 $p'$는 기준 및 테스트 스펙트럼의 히스토그램 계수이며, $J$는 채널 수입니다. $\chi^2/\nu \gg 1$이면 통계적으로 불일치하여 변조로 판단합니다.

• 실험 설정:

  • 장비: 4"x4"x4" 요오드화 나트륨 (NaI) 감마선 검출기, 광증배관 (PMT), 인텔 NUC (Ubuntu Linux), ORTEC digiBASE.
  • 공격 시나리오:
    1. 시간 기반 공격 (Time-based Attack): 특정 시간대 (예: 금요일 오후 2~3 시) 에만 악성 코드가 실행되어 검출된 감마선 이벤트를 10% 중복 복사 (duplicate) 하는 방식.
    2. 계수 기반 공격 (Counts-based Attack): 총 계수 (gross counts) 를 분석하여 비정상적인 값이 감지되면 이벤트 데이터를 조작 (삭제 또는 중복) 하여 실제 핵물질 감소를 숨기는 방식.
  • 공격 기법: 소스 코드 변경 없이 Python 의 numpy 라이브러리를 런타임에 마모니 패칭 (monkey patching) 하여 핵심 함수를 재정의하는 방식 사용.

3. 주요 기여 (Key Contributions)

1. 시스템 서명 생성을 위한 퍼지 테스팅 적용: 기존 소프트웨어 테스트를 넘어 물리적 시스템의 전체 상태 공간 (소스 코드, 라이브러리, 펌웨어, 하드웨어, 환경 변수 포함) 을 포괄하는 서명 생성 기법 제시.
2. 비결정적 물리 시스템에 대한 차분 퍼지 테스팅: 방사선 검출기와 같은 확률적 (노이즈가 있는) 물리 시스템에 차분 퍼지 테스팅을 적용하여 통계적 비교를 통한 변조 탐지 가능성 입증.
3. 군축 인증 프레임워크 제안: 핵무기 검증 시스템의 인증 프로세스에 이 기술을 통합할 수 있는 구체적인 운영 개념 (CONOPS) 을 제안.

4. 실험 결과 (Results)

• 시간 기반 공격 탐지:
  • 기준 시스템과 변조 시스템에 동일한 무작위 입력 (시스템 시간 포함) 을 적용했습니다.
  • 공격 시간대 (오후 2~3 시) 에 해당되는 입력이 실행되었을 때, 변조된 시스템은 계수가 10% 증가한 스펙트럼을 생성했습니다.
  • 결과적으로 $\chi^2/\nu$ 값이 임계값 (2) 을 초과하여 경보가 발생했습니다. (100 회 측정 중 38 회 탐지, 위음성률 1%, 위양성률 0%).
• 계수 기반 공격 탐지:
  • 검출기 파라미터 (고전압, 이득, 펄스 폭 등) 를 무작위로 변경하여 총 계수를 변화시켰습니다.
  • 변조된 시스템은 비정상적인 계수 값을 감지하고 데이터를 조작하여 실제 핵물질 감소를 숨기려 했습니다.
  • 이로 인해 기준 데이터와 큰 편차가 발생하여 $\chi^2/\nu$ 값이 임계값 (4) 을 크게 초과하며 공격이 탐지되었습니다. (100 회 측정 중 70 회 탐지).
• 결론: 두 가지 유형의 변조 시도 모두 물리적 차분 퍼지 테스팅을 통해 성공적으로 탐지되었습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 단순한 소프트웨어 해싱을 넘어, 하드웨어, 펌웨어, 라이브러리, 환경 변수를 아우르는 통합적인 변조 탐지가 가능합니다.
  • 기존 인증 방식의 취약점 (호스트가 인증 과정에서 시스템을 조작할 기회) 을 보완할 수 있는 강력한 도구로 기대됩니다.
  • 핵무기 검증뿐만 아니라 국제 핵안전 (safeguards) 및 기타 사이버 - 물리 시스템 보안에도 적용 가능합니다.
• 한계 및 향후 과제:
  • 고급 공격 대응: 논리 폭탄 (Logic Bomb) 이나 특정 조건 (예: 특정 핵물질 분석 결과) 에서만 작동하는 정교한 공격은 탐지가 어려울 수 있음.
  • 환경적 요인: 온도 변화 등으로 인한 PMT 이득 변동은 스펙트럼 불일치를 유발하여 위양성 (False Positive) 을 일으킬 수 있음. (더 견고한 검출기 재료 필요)
  • 재현 공격 (Replay Attack): 공격자가 실제 검출기를 우회하고 합성 데이터를 생성하는 경우 탐지가 어려울 수 있음.
  • 인증 (Certification) 문제: 이 기술은 변조 탐지 (인증) 에 초점을 맞추고 있으나, 호스트가 시스템을 인증하는 과정에서 발생할 수 있는 새로운 변조 위험은 여전히 해결해야 할 과제임.

요약

이 논문은 핵무기 군축 검증 시스템의 무결성을 보장하기 위해 물리적 차분 퍼지 테스팅을 제안했습니다. 무작위 입력을 통해 시스템의 정상적인 동작 서명을 생성하고, 이후 동일한 입력으로 재측정하여 통계적 편차를 분석함으로써, 소스 코드 변경 없이도 이루어지는 복잡한 변조 (라이브러리 조작, 환경 변수 변경 등) 를 탐지할 수 있음을 실험을 통해 입증했습니다. 이는 미래의 사이버 - 물리 시스템 보안 및 국제 군축 검증에 있어 혁신적인 접근법으로 평가됩니다.