Identifying Adversary Characteristics from an Observed Attack

이 논문은 기계학습 모델에 대한 공격을 통해 공격자의 특성을 식별하는 프레임워크를 제안하고, 공격자의 신원을 파악함으로써 외부적 완화 조치 및 학습 과정 내 방어 기법의 성능을 향상시킬 수 있음을 증명합니다.

핵심

이 논문은 **"해커가 어떤 공격을 했을 때, 그 해커가 누구인지, 어떤 능력을 가지고 있는지, 그리고 무엇을 목표로 했는지를 추리하는 새로운 방법"**을 소개합니다.

기존의 보안 시스템은 "해커가 어떻게 공격할지"를 미리 가정하고 방어막을 치는 데 집중했습니다. 하지만 이 논문은 "방어막을 더 두껍게 하는 것"이 아니라, "공격자를 알아내는 것"에 초점을 맞춥니다.

이 복잡한 개념을 일상적인 비유로 쉽게 설명해 드릴겠습니다.

---

🕵️‍♂️ 비유: "유리창을 깨는 범인 찾기"

상상해 보세요. 어떤 건물의 유리창이 깨져 있습니다. (이것이 공격입니다.)

• 기존의 방어 방식: "범인이 망치로 쳤을 거야, 망치에 맞지 않게 유리창을 더 두껍게 만들자!" 혹은 "범인이 돌을 던졌을 거야, 돌을 막을 방패를 만들자!"라고 가정하고 방어합니다. 하지만 범인이 망치가 아니라 '공기총'을 썼다면? 그 방어는 무용지물이 됩니다.
• 이 논문의 방식: "유리창이 깨진 **흔적 (파편의 모양, 깨진 각도, 위치)**을 자세히 분석해보자. 이 흔적을 보면 범인이 어떤 도구를 썼고, 어떤 힘을 가했으며, 왜 이 창문을 깨려 했는지 알 수 있을지도 모른다"는 접근입니다.

🧩 핵심 아이디어 3 가지

1. "범인은 한 명만 있는 게 아니다" (비식별성 문제)

논문의 가장 중요한 발견 중 하나는 **"유리창이 깨진 모습만으로는 범인을 100% 특정할 수 없다"**는 것입니다.

• 상황: 유리창이 깨졌습니다.
• 추리 1: "아, 이 사람은 강력한 망치를 들고 창문 정중앙을 노린 거야."
• 추리 2: "아니, 이 사람은 약한 망치를 들고 창문 모서리를 노린 거야."
• 결과: 두 가지 추리가 모두 깨진 유리창 모양을 설명할 수 있습니다. 즉, 공격만 보고는 범인의 정체 (도구, 능력, 목적) 를 정확히 알 수 없는 경우가 많습니다.

2. "선입견을 활용한 추리" (확률적 프레임워크)

범인을 특정할 수 없다면 어떻게 할까요? 논문은 **"가장 그럴듯한 범인"**을 찾아내는 방법을 제안합니다.

• 비유: 경찰이 사건 현장을 조사할 때, "이 동네에는 보통 A 씨가 자주 훔쳐가고, B 씨는 힘이 약해서 망치질을 못 해"라는 **선입견 (사전 지식)**을 가지고 있습니다.
• 작동 원리:
  1. 관찰: 깨진 유리창을 봅니다.
  2. 선입견과 비교: "A 씨가 했다면 이렇게 깨졌을 텐데, B 씨가 했다면 저렇게 깨졌을 텐데..."
  3. 최종 결론: "유리창의 흔적과 A 씨의 행동 패턴이 가장 잘 맞아떨어지니, A 씨가 범인일 확률이 가장 높다"고 결론 내립니다.
  • 여기서 '선입견'은 해커가 어떤 사람일지에 대한 보안 전문가의 경험적 추측입니다.

3. "범인을 알아내면 방어법이 바뀐다"

범인의 정체 (도구, 능력, 목적) 를 알아내면 방어 전략을 바꿀 수 있습니다.

• 예시: 범인이 "망치"를 쓴다는 것을 알았으니, 유리창을 두껍게 하는 대신 망치에 강한 특수 코팅을 칠하거나, 망치 소리를 감지하는 센서를 설치할 수 있습니다.
• 핵심: 범인을 모르면 "만능 방어막"을 두껍게 해야 하지만, 범인을 알면 **"맞춤형 방어"**를 할 수 있어 훨씬 효율적입니다.

---

🛠️ 이 논문이 실제로 한 일 (실험 결과)

저자들은 이 추리 방법을 컴퓨터 프로그램 (머신러닝 모델) 에 적용해 보았습니다.

1. 상황: 다양한 종류의 해커 (선형 회귀, 로지스틱 회귀, 신경망 등을 사용하는 해커) 가 가상의 공격을 감행했습니다.
2. 작업: 방어 시스템은 공격이 끝난 후, "이 공격을 한 해커는 어떤 능력을 가졌을까?"를 역으로 계산해 냈습니다.
3. 결과:
   • 단순한 공격 (선형 회귀): 해커의 정체와 능력을 99% 이상 정확하게 찾아냈습니다. (유리창이 깔끔하게 깨졌을 때 범인을 쉽게 찾는 것과 비슷합니다.)
   • 복잡한 공격 (신경망 등): 해커가 더 정교하고 비선형적인 공격을 할 때는 정확도가 조금 떨어지지만, 여전히 기존 방법보다 훨씬 좋은 결과를 보였습니다.

💡 왜 이것이 중요한가요?

기존의 보안은 **"해커가 어떻게 공격할지"**를 예측하는 데 급급했습니다. 하지만 이 논문은 **"해커가 누구인지"**를 파악하는 새로운 시대를 열었습니다.

• 외부 대응: 해커의 정체나 능력을 알면, 시스템 내부의 코드를 고치는 것뿐만 아니라 해커를 추적하거나, 해커의 능력을 제한하는 물리적/법적 조치를 취할 수 있습니다.
• 맞춤형 방어: 해커가 어떤 약점을 노리는지 알면, 그 약점만 딱 맞춰서 방어할 수 있어 시스템의 성능을 떨어뜨리지 않으면서도 보안을 강화할 수 있습니다.

📝 한 줄 요약

"유리창이 깨진 흔적을 보고, 그 흔적을 남긴 범인이 어떤 도구로 무엇을 노렸는지 역추적하여, 가장 그럴듯한 범인을 찾아내는 '디지털 추리법'을 개발했다."

이 방법은 앞으로 인공지능 시스템을 해킹하려는 적을 단순히 막는 것을 넘어, 적의 정체를 파악하여 더 똑똑하게 대응할 수 있는 토대를 마련해 줍니다.

기술 요약

1. 문제 정의 (Problem)

기존의 머신러닝 (ML) 방어 메커니즘은 대부분 특정한 공격자 (Attacker) 에 대한 가정을 전제합니다. 예를 들어, 공격자의 지식 수준, 능력 (Capability), 목표 (Objective) 를 고정된 위협 모델 (Threat Model) 로 가정하고 방어 전략을 수립합니다. 그러나 실제 환경에서는 공격자의 파라미터가 고정되어 있지 않거나 알려지지 않은 경우가 많으며, 새로운 공격 전략이 등장할 때마다 방어와 공격 간의 '군비 경쟁 (Arms Race)'이 발생합니다.

이 논문은 공격 자체를 막는 것이 아니라, 관측된 공격을 통해 공격자의 특성 (지식, 능력, 목표) 을 역추적 (Reverse Engineering) 하는 것에 초점을 맞춥니다.

• 핵심 문제: 관측된 공격 ($\alpha_{obs}$) 만으로는 공격자의 파라미터 ($K, C, O$) 를 유일하게 결정할 수 있는가?
• 발견: 추가적인 정보가 없으면 공격자는 식별 불가능 (Non-identifiable) 합니다. 즉, 서로 다른 특성을 가진 여러 공격자가 동일한 공격을 수행할 수 있기 때문입니다.

2. 방법론 (Methodology)

저자들은 공격자의 특성을 식별하기 위해 도메인 무관 (Domain-agnostic) 인 확률적 프레임워크를 제안합니다.

2.1 공격자 모델링

공격자 (ATKR) 는 세 가지 구성 요소로 정의됩니다:

1. 지식 (K): 방어자 (DFDR) 의 예측 함수에 대한 공격자의 추정치.
2. 능력 (C): 데이터에 가할 수 있는 교란 (Perturbation) 의 범위 (제약 조건).
3. 목표 (O): 공격자가 최적화하려는 목적 함수 (예: 특정 클래스로 분류되게 하거나, 예측을 최대한 왜곡하게 함).

2.2 역최적화 문제 (Reverse Optimization)

방어자의 목표는 관측된 공격 $\alpha_{obs}$ 가 주어졌을 때, 해당 공격을 최적 공격으로 만들어내는 가장 확률적인 공격자 파라미터 $(\hat{K}, \hat{C}, \hat{O})$ 를 찾는 것입니다. 이는 이중 최적화 (Bi-level Optimization) 문제로 공식화됩니다.

• 우선순위 (Prior): 방어자는 공격자에 대한 사전 믿음 (Prior Belief) 을 가집니다.
• 목표 함수: 관측된 공격과 사전 분포를 결합하여 우도 (Likelihood) 를 최대화하는 파라미터를 찾습니다.
  $$\hat{K}, \hat{C}, \hat{O} = \arg \max_{K,C,O} \left[ \lambda \log p(K, C, O) + \log p(\alpha_{obs} | \alpha_{opt}(K, C, O)) \right]$$
  여기서 $\lambda$ 는 공격자의 최적성 (Optimality) 정도와 사전 믿음의 가중치를 조절하는 매개변수입니다.

2.3 구체적 적용 사례

논문의 프레임워크는 다음 세 가지 시나리오에서 검증되었습니다:

1. 선형 회귀 (Linear Regression): Mahalanobis 제약 하의 반발형 (Repulsive) 공격.
2. 로지스틱 회귀 (Logistic Regression): 박스 제약 하의 유인형 (Attractive) 공격.
3. 다층 퍼셉트론 (MLP): 박스 제약 하의 유인형 공격.

3. 주요 기여 (Key Contributions)

1. 공격자 특성 역설계 프레임워크: 공격으로부터 공격자의 지식, 능력, 목표를 추론하는 일반화된 프레임워크를 제시했습니다.
2. 식별 불가능성 (Non-identifiability) 의 수학적 증명: 추가 정보 없이 관측된 공격만으로는 공격자를 유일하게 식별할 수 없음을 증명했습니다. (특히 선형 모델에서 어떤 공격 $\alpha$ 에 대해서도 이를 생성할 수 있는 공격자의 집합이 존재함을 보임).
3. 사전 분포를 활용한 해결책: 식별 불가능성 문제를 해결하기 위해 사전 분포 (Prior Distribution) 를 도입하여 가장 확률적인 공격자를 찾는 방법을 제안했습니다.
4. 실증적 검증: 다양한 학습 모델 (선형, 로지스틱, MLP) 에 대한 개념 증명 (Proof-of-concept) 을 수행했습니다.

4. 실험 결과 (Results)

저자들은 합성 데이터와 실제 데이터 (손글씨 숫자 인식 데이터셋) 를 사용하여 제안된 프레임워크의 성능을 평가했습니다. 평가 지표는 오류 감소율 (Percent Error Reduction, PER) 입니다.

• 선형 회귀 (Linear Regression): 매우 높은 성능을 보였습니다.
  • 중앙값 (Median) 오류 감소율: 99.14%
  • 최대 오류 감소율: 99.65%
  • 100 회 실험 중 91% 에서 긍정적 결과 (PER > 0) 를 기록.
• 로지스틱 회귀 및 MLP: 성능은 여전히 유의미했으나 선형 모델보다는 변동성이 컸습니다.
  • 로지스틱 회귀: 최대 84.56% 감소.
  • MLP: 최대 71.68% 감소.
  • 비선형 모델의 경우 최적화 문제의 비볼록성 (Non-convexity) 과 공격자의 비최적성 (Suboptimality) 으로 인해 변동성이 증가했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 방어 전략의 패러다임을 전환하는 중요한 의의를 가집니다.

1. 외부적 완화 (Exogenous Mitigation): 공격자의 특성을 파악하면, 학습 알고리즘 내부의 수정뿐만 아니라 시스템 외부에서 공격자의 능력을 제한하거나 (예: 접근 차단), 공격자를 추적하여 대응할 수 있습니다.
2. 맞춤형 방어 (Tailored Defense): 추론된 공격자 파라미터를 기반으로 방어 메커니즘 (예: 적대적 정규화) 을 최적화하여 방어 성능을 극대화할 수 있습니다.
3. RED (Reverse Engineering Deception) 분야 기여: 기존 연구들이 특정 공격 유형이나 도메인에 국한되었던 반면, 이 프레임워크는 도메인에 구애받지 않고 공격자의 구조를 학습한다는 점에서 확장성이 뛰어납니다.

결론적으로, 이 논문은 "공격자를 이해하는 것"이 방어에 필수적임을 강조하며, 관측된 공격 데이터를 통해 공격자의 숨겨진 특성을 확률적으로 추론하는 새로운 접근법을 제시했습니다. 비선형 모델에서의 변동성 등 한계점은 존재하지만, 선형 모델에서의 탁월한 성능은 향후 더 복잡한 AI 시스템에 대한 공격자 식별 기술의 기초를 마련했습니다.