The Effect of Code Obfuscation on Human Program Comprehension

이 논문은 코드 난독화가 인간 프로그램 이해에 미치는 영향을 연구하여, 난독화가 일반적으로 이해 시간 증가와 정확도 감소를 초래하지만 언어별 (자바스크립트와 파이썬) 로 그 영향이 다르게 나타나며, 경험은 언어 간 전이보다는 특정 언어에 대한 친숙도와 더 밀접하게 연관된다는 결과를 제시합니다.

핵심

1. 연구의 핵심: "코드는 요리 레시피"입니다

생각해 보세요. 우리가 요리할 때 레시피를 봅니다.

• 원본 코드 (L0): "설탕 1 큰술, 소금 1 꼬집"처럼 재료가 명확하게 적힌 레시피입니다.
• 난독화 코드: 요리사가 재료를 모두 'A', 'B', 'C'라고 이름을 바꾸거나, 혹은 '설탕' 대신 '달콤한 가루'라고 적어놓고 실제로는 소금을 넣는 식으로 속이는 레시피입니다.

연구자들은 이 '속임수'가 요리사 (프로그래머) 가 요리를 완성하는 데 얼마나 걸리고, 실수를 얼마나 하는지 측정했습니다.

2. 두 가지 생각의 모드 (시스템 1 vs 시스템 2)

사람의 뇌는 두 가지 방식으로 작동합니다.

• 시스템 1 (직관): "아, 이거 설탕이겠지!"라고 바로 추측하는 빠른 생각. (예: 익숙한 레시피를 볼 때)
• 시스템 2 (논리): "잠깐, 저건 소금일 수도 있겠네. 하나하나 확인해 봐야겠다."라고 천천히 분석하는 느린 생각.

연구 결과의 핵심은 이것입니다:
코드가 난독화되면, 사람들은 빠른 직관 (시스템 1) 을 쓸 수 없게 되어, 무조건 느린 논리 (시스템 2) 로 전환하게 됩니다. 하지만 이 전환이 항상 좋은 것은 아닙니다.

3. 주요 발견 사항 (재미있는 반전들)

① "어렵게 만들수록 무조건 나빠지는 건 아니다"

일반적으로 코드를 더 복잡하게 만들면 (이름을 더 이상하게 바꾸거나 흐름을 꼬면) 이해하기 더 어려워질 것이라고 생각하기 쉽습니다. 하지만 결과는 다릅니다.

• 자바스크립트 (JS): 코드를 복잡하게 만들수록 정확도가 일직선으로 떨어집니다. (예상대로)
• 파이썬 (Python): 오히려 이름만 바꾸는 단순한 난독화 (L1) 를 하면 정확도가 오르는 기이한 현상이 나타났습니다.
  • 비유: 파이썬 코드를 읽을 때, 원래 이름이 너무 익숙해서 "아, 이건 이럴 거야"라고 잘못된 직관을 가졌다면, 이름을 뻔히 알 수 없는 것으로 바꾸면 사람들은 "아, 내가 착각했나? 다시 하나하나 확인해 봐야겠다"라고 신중하게 접근하게 됩니다. 즉, 속임수가 오히려 사람을 더 주의 깊게 만들었습니다.

② "속도가 정답의 열쇠가 아니다"

• 너무 빨리 답을 내면: 대부분 틀립니다. (직관으로 찍었기 때문)
• 너무 오래 걸리면: 대부분 틀립니다. (혼란스러워서 헤매기 때문)
• 적당히 시간을 들이면: 정답률이 가장 높습니다. (적당한 '고민'이 필요함)
  • 비유: 시험 문제를 풀 때, 1 초 만에 찍으면 틀리고, 1 시간 동안 멍하니 있으면 또 틀립니다. 적당한 시간 (약 2~3 분) 을 들여 차근차근 생각할 때 가장 잘 맞습니다.

③ "전문가도 함정에 빠진다"

• 파이썬 전문가: 파이썬에 익숙할수록 더 잘 풀었습니다.
• 자바스크립트 전문가: 자바스크립트에 익숙해도, 난독화된 코드를 보면 초보자보다 더 잘 풀지 못했습니다.
  • 비유: 자바스크립트 전문가들은 "아, 이 패턴은 보통 이렇게 쓰지"라는 **고정관념 (직관)**에 너무 익숙해져서, 코드가 살짝만 변해도 그 고정관념이 오히려 방해가 되어 더 큰 실수를 저지릅니다. 반면 초보자는 처음부터 꼼꼼히 확인하는 습관이 있어 오히려 나을 수 있습니다.

④ "언어마다 다른 성격"

• 자바스크립트: 변수 이름이 중요한 '지시판' 역할을 합니다. 이름을 바꾸면 길을 완전히 잃습니다.
• 파이썬: 구조 (흐름) 가 더 중요합니다. 이름을 바꿔도 흐름을 따라가면 해결책을 찾을 수 있습니다.

4. 결론: 보안 전문가와 개발자를 위한 교훈

이 연구는 우리에게 중요한 메시지를 줍니다.

1. 코드를 숨길 때는 '흐름'을 바꾸는 게 가장 효과적이다: 단순히 이름만 바꾸는 것보다, 코드가 실행되는 순서 (흐름) 를 뒤죽박죽 만드는 것이 사람을 더 당황하게 합니다.
2. 언어마다 다른 전략이 필요하다: 파이썬 코드를 보호할 때는 이름만 바꾸는 것만으로는 부족할 수 있습니다. 오히려 이름이 너무 명확하면 사람들이 착각할 수 있으니, 의도적으로 이름을 애매하게 하거나 흐름을 복잡하게 해야 합니다.
3. 사람은 기계가 아니다: "코드가 복잡해지면 무조건 이해하기 어렵다"는 공식은 사람에게는 통하지 않습니다. 때로는 너무 명확한 정보가 오히려 사람을 속여 실수를 하게 만들기도 합니다.

한 줄 요약:

"코드를 읽기 어렵게 만들 때, 단순히 복잡하게 만드는 것보다 사람의 뇌가 속아넘어갈 수 있는 '속임수'를 잘 활용하고, 언어의 특성에 맞춰 전략을 바꿔야 진정한 보안이 가능합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

소프트웨어 난독화 (Obfuscation) 는 지적 재산 보호, 역공학 방지, 비즈니스 로직 숨기기를 위해 널리 사용됩니다. 기존 연구들은 주로 자동화된 지표 (코드 복잡도, 역컴파일 성공률 등) 나 공격자 모델을 통해 난독화의 효과를 평가했습니다. 그러나 난독화의 근본적인 목적은 인간의 이해를 방해하는 것이므로, 특정 난독화 기법이 인간의 인지 과정에 어떻게 영향을 미치는지에 대한 실증적 증거는 부족했습니다.

기존의 일반적인 가정은 "난독화 수준이 강해질수록 인간의 인지적 어려움이 선형적으로 (monotonically) 증가한다"는 것이었습니다. 하지만 인간의 인지 과정은 단순한 계산이 아니며, 식별자 (identifier) 이름 변경이나 제어 흐름 (control-flow) 조작이 인간의 이해에 미치는 영향은 언어와 상황에 따라 다를 수 있습니다. 이 연구는 이러한 가설을 검증하고, 난독화가 인간의 프로그램 이해 (Output Prediction) 에 미치는 구체적인 영향을 규명하는 것을 목표로 합니다.

2. 연구 방법론 (Methodology)

2.1 실험 설계 및 데이터셋

• 작업 (Task): 출력 예측 (Output Prediction). 주어진 함수와 입력값에 대해 정확한 출력값을 예측하도록 요청했습니다. 이는 프로그램의 의미론적 모델을 구축해야 하므로 프로그램 이해도의 대표적인 지표이며, 주관적 요약과 달리 객관적인 정답 (Correct/Incorrect) 을 제공합니다.
• 데이터셋: HumanEval-X 벤치마크의 Python 과 JavaScript 하위 집합을 사용했습니다. 사이클로매틱 복잡도 (Cyclomatic Complexity) 가 4~8 사이이고 줄 수가 15 줄 미만인 함수 10 개를 각 언어에서 무작위 추출했습니다.
• 참여자: 50 명의 컴퓨터 과학 학부생 (Python 및 JavaScript 경험 수준: 없음, 1 년 미만, 1 년 이상으로 분류).

2.2 난독화 수준 (Obfuscation Tiers)

연구는 5 가지 수준의 난독화를 정의하여 적용했습니다 (Fig. 1 참조):

• L0 (Original): 원본 코드.
• L1 (Identifier Renaming): 의미 없는 식별자로 이름 변경 (Layout-based).
• L1b (Adversarial Renaming): 문맥상 그럴듯하지만 오해의 소지가 있는 (misleading) 식별자로 이름 변경. (예: 변수 n 을 _lastNSecs 로 변경하여 의미 불일치 유발).
• L2 (Control-Flow Alteration): 제어 흐름 평탄화 (Flattening). 실행 순서를 분해하고 간접 호출을 도입하여 구조적 단서를 제거 (Control-flow based).
• L3 (Combination): L1(또는 L1b) 과 L2 를 결합한 현실적인 난독화.

2.3 이론적 프레임워크: 이중 시스템 이론 (Dual-System Theory)

연구는 카네만의 **이중 시스템 이론 (System 1 / System 2)**을 기반으로 합니다.

• System 1: 직관적, 빠름, 휴리스틱 기반 (패턴 매칭, 익숙한 식별자 의존).
• System 2: 분석적, 느림, 의식적 노력 (단계별 추적, 논리적 검증).
• 가설: 난독화는 System 1 의 자동화된 처리를 방해하여 System 2 로의 전환을 강제하거나, 오해의 소지가 있는 식별자 (L1b) 를 통해 System 1 의 함정을 유발합니다.

3. 주요 연구 결과 (Key Results)

3.1 정확도 (Accuracy) 와 난독화 수준의 관계

• 전반적 경향: 난독화는 일반적으로 정확도를 낮추고 소요 시간을 증가시킵니다.
• 비선형성 (Non-monotonicity): 난독화 수준과 정확도 감소는 언어에 따라 다르게 나타났습니다.
  • JavaScript: 예상대로 난독화 수준이 높아질수록 (L0 → L3) 정확도가 선형적으로 감소했습니다. 특히 제어 흐름 변경 (L2) 과 결합 (L3) 이 가장 치명적이었습니다.
  • Python: 역설적인 결과가 나타났습니다. L0(원본) 보다 L1(단순 이름 변경) 과 L1b(오해의 소지가 있는 이름 변경) 에서 정확도가 오히려 향상되었습니다.
    • 이유: Python 의 원본 식별자가 System 1 의 잘못된 휴리스틱 (예: 이름만 보고 추측) 을 유발했을 가능성이 있으며, 이름이 제거되거나 왜곡되면 참여자가 더 신중하게 구조와 데이터 흐름을 추적 (System 2) 하게 되어 정확도가 높아진 것으로 해석됩니다.

3.2 응답 시간 (Response Time) 과 인지 모드

• System 1 의 붕괴: 난독화가 도입되면 응답 시간이 급격히 증가하며, 이는 참여자가 빠른 직관 (System 1) 에서 느린 추적 (System 2) 으로 전환했음을 보여줍니다.
• 골디락스 존 (Goldilocks Zone): 정확도는 응답 시간과 비선형적인 관계를 가집니다.
  • 너무 빠름: System 1 휴리스틱에 의존하여 오류 발생率高.
  • 적당한 지연: System 2 의 신중한 추론이 이루어져 정확도가 최고조에 달함.
  • 너무 느림: 혼란 (Confusion) 이나 비생산적인 추적을 의미하여 정확도가 다시 떨어짐.
• L1b 의 특수성: L1b(오해의 소지가 있는 이름) 에서는 "느린 응답" 그룹의 정확도가 가장 높았습니다. 이는 오해의 소지가 있는 이름이 System 1 을 함정에 빠뜨렸고, 이를 극복하기 위해 System 2 를 활성화한 참여자만이 정답을 맞췄음을 시사합니다.

3.3 프로그래밍 경험의 영향

• 언어 내 (In-Language) 상관관계: 특정 언어에 대한 경험은 해당 언어의 태스크 수행과 양의 상관관계가 있었습니다 (Python 에서 특히 뚜렷함).
• 언어 간 (Cross-Language) 전이: 한 언어의 경험이 다른 언어의 난독화 코드 이해로 직접적으로 전이되지 않았습니다. 오히려 Python 에 익숙한 전문가가 JavaScript 난독화 코드를 다룰 때 성능이 저하되는 부정적 전이 (Negative Transfer) 현상이 관찰되었습니다. 이는 익숙한 언어의 관성 (System 1) 이 새로운 문법 환경에서 오히려 방해가 될 수 있음을 의미합니다.
• 혼합 경험 프로필: 두 언어 모두에서 경험이 가장 많은 그룹이 항상 최고의 성과를 낸 것은 아니었습니다. 중간 수준의 경험과 신중한 추론 전략을 결합한 그룹이 종종 더 좋은 성과를 냈습니다.

3.4 코드 복잡도와의 상관관계

• 사이클로매틱 복잡도 (CC): JavaScript 에서는 CC 가 높을수록 난독화의 영향이 선형적으로 악화되었으나, Python 에서는 중간 복잡도 (Medium CC) 에서 오히려 난독화 (특히 L3) 하에서도 정확도가 유지되거나 향상되는 경향을 보였습니다.
• 식별자 길이: 식별자 길이와 정확도 사이에는 유의미한 상관관계가 없었습니다. 오히려 식별자의 **진실성 (Veracity)**과 문맥적 적합성이 더 중요한 요소였습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 난독화 효과에 대한 실증적 반박: "난독화가 강할수록 항상 이해가 어려워진다"는 기존의 선형적 가설이 인간 인지에서는 성립하지 않음을 입증했습니다. 특히 Python 의 경우, 일부 난독화 기법이 오히려 이해를 돕는 (System 1 함정 회피) 역설적 효과를 보였습니다.
2. 이중 시스템 이론의 적용: 코드 이해 과정을 System 1(직관) 과 System 2(분석) 의 상호작용으로 설명하고, 난독화가 이 두 모드 간의 전환을 어떻게 유도하거나 방해하는지를 정량화했습니다.
3. 언어별 차이 규명: Python 과 JavaScript 가 난독화에 대해 완전히 다른 반응을 보임을 발견했습니다. 이는 보안 평가 시 언어별 특성을 고려해야 함을 시사합니다.
4. 새로운 평가 지표 제안: 단순한 정답률뿐만 아니라 응답 시간 분포와 인지 모드 전환을 분석해야 함을 강조했습니다. 특히 L1b(Adversarial Renaming) 와 같은 기법이 인간 인지 모델에 미치는 영향을 측정하는 새로운 벤치마크의 필요성을 제기했습니다.
5. 실무적 시사점:
   • 보안 연구자: 난독화 평가 시 자동화 지표만 의존하지 말고 인간 인지 부하 (Cognitive Load) 를 고려해야 합니다.
   • 개발자/보안 전문가: 제어 흐름 변경 (Control-flow alteration) 이 가장 파괴적이지만, 언어에 따라 식별자 변경의 효과가 다를 수 있음을 인지해야 합니다.
   • 도구 개발자: 난독화/역난독화 도구는 인간의 휴리스틱 실패 확률과 추적 부하를 고려하여 설계되어야 합니다.

5. 결론

이 논문은 코드 난독화가 단순히 코드를 읽기 어렵게 만드는 것을 넘어, 인간의 인지 전략 (System 1 vs System 2) 을 어떻게 변화시키는지 심층적으로 분석했습니다. 난독화의 효과는 언어, 난독화 기법의 조합, 그리고 사용자의 경험에 따라 복잡하고 비선형적으로 나타나며, "더 많은 난독화 = 더 큰 보안"이라는 단순한 공식은 인간 이해의 맥락에서는 성립하지 않을 수 있음을 보여줍니다.