기술 요약: 기계는 인간이 고전하는 지점에서 함께 고전하는가? 난독화된 코드에 대한 LLM과 인간의 이해도

문제 정의

코드 난독화는 프로그램의 의미론(semantics)은 유지하면서 인간의 코드 이해력을 의도적으로 저하시킴으로써 소프트웨어 역공학으로부터 소프트웨어를 보호하기 위해 널리 사용된다. 선행 연구(Nguyen 등 [1])는 난독화가 인간의 추론 패턴을 방해하여 직관적인 "System 1" 처리에서 의도적인 "System 2" 추론으로의 전환을 강제한다는 사실을 입증했으나, 대규모 언어 모델(LLM)이 이와 유사한 실패 모드를 보이는지는 여전히 불분명하다. 핵심적인 문제는 LLM이 인간의 이해 방식과 일치하는 방식으로 난독화된 코드를 이해하는지, 아니면 다른 메커니즘을 통해 실패하는지 여부이다. 만약 모델이 서로 다른 방식으로 실패한다면, 표준 작업에서의 높은 벤치마크 성능은 인간이 여전히 탐색할 수 있는 변형 하에서 붕괴되는 취약한 역량을 은폐하고 있을 수 있다.

방법론

저자들은 인간의 기준점(Nguyen 등 [1]에 의해 설정됨)과 LLM의 성능을 비교하는 혼합 경험적 연구를 수행하였다.

• 데이터셋: 연구에는 두 가지 데이터셋이 사용되었다. 데이터셋 A(Python 및 JavaScript의 HumanEval-X에서 추출한 20개 스니펫)는 5단계의 난독화 계층에 걸쳐 LLM을 인간 참가자와 직접 비교하는 데 사용되었다. 데이터셋 B(HumanEval-X, CruxEval-X, LeetCode에서 추출한 250개 스니펫)는 모델 단독 분석을 위한 추론 흔적(reasoning traces) 분석에 사용되었다.
• 난독화 계층: 다음 다섯 단계가 테스트되었다:
  • L0: 원본 코드.
  • L1: 식별자 이름 변경(의미 있는 이름을 무의미한 이름으로 교체).
  • L1b: 적대적 이름 변경(식별자를 의미는 있지만 오도하는 이름으로 교체).
  • L2: 제어 흐름 평탄화(디스패처를 사용하여 구문으로부터 로직을 분리).
  • L3: L1과 L2의 결합.
• 모델: 0.5B에서 8B 파라미터 범위에 이르는 추론 최적화 모델(예: DeepSeek-R1, SmolLM3), 지시 최적화(instruction-tuned) 모델, 코드 최적화(coder-tuned) 모델을 포함한 다양한 LLM이 평가되었다.
• 평가 프레임워크:
  • 주요 지표: 출력 예측 정확도(정답과의 일치 여부).
  • 이론적 관점: Schulte의 Block Model [2]을 사용하여 실패 지점을 네 가지 수준(Atoms - 어휘 요소, Blocks - 의미적 영역, Relations - 의존성, Macro Structure - 전체 알고리즘)에서 국소화하였다.
  • 추론 분석: 사고 사슬(Chain-of-Thought, CoT) 흔적 길이를 정신적 노력의 대리 지표로 사용하였다. 신뢰도 지표(z-score화된 로그 확률)와 "식별자 스파이크 비율(Identifier Spike Fractions)"(토큰 수준의 불확실성)을 분석하여 확신에 찬 오해를 탐지하였다.
• 실험 설계: 추론 행동을 격리하기 위해 프롬프트 조건(베이스라인, System 2 프롬프팅, 인지적 간섭, 토큰 예산)을 다양화하였다.

주요 기여

1. 인간-기계 정렬(Alignment)의 공식화: 인간의 난이도 패턴을 기준으로 사용하여 난독화된 코드에 대한 인간과 기계의 이해 사이의 정렬을 측정하는 프레임워크를 구축하였다.
2. 체계적 평가: Python 및 JavaScript에 걸친 다수의 난독화 계층에서 인간의 어려움 패턴과 모델의 행동을 비교하며 LLM을 종합적으로 평가하였다.
3. 실패 모드 국소화: Block Model과 추론 흔적을 사용하여 정렬이 발생하는 지점과 인간의 이해와 기계의 이해가 갈라지는 지점을 식별하였다.
4. 경험적 발견: 추론 최적화 모델은 코드 복잡성에 대한 인간의 민감도를 근사하는 반면, 지시 최적화 및 코드 최적화 모델은 그렇지 않음을 보고한다.

결과

1. 인간의 난이도와의 정렬 (RQ1 & RQ2)

• 추론 모델: 추론 최적화 모델(예: DeepSeek-R1-Qwen-7B, SmolLM3-3B)은 난독화 계층 전반에 걸쳐 인간의 정확도와 유의미한 양의 상관관계($\rho \approx 0.30–0.47$)를 보인다. 이들은 인간이 어렵다고 느끼는 것과 동일한 과업에서 어려움을 겪는다.
• 코드/지시 모델: 지시 최적화 및 코드 최적화 모델은 인간의 성능과 상관관계가 거의 zero에 가까우며, 이는 이들이 근본적으로 다른 메커니즘을 통해 실패함을 나타낸다.
• 숙련도 수준: 추론 모델은 모든 숙련도 수준(초급, 중급, 전문가)에서 인간의 난이도 패턴과 일치한다. 그러나 인간 전문가가 중간 단계의 적대적 이름 변경(L1b) 상황에서 초보자보다 더 나은 성능을 보이는 "전문가 역전(expert inversion)" 현상은 어떤 모델도 재현하지 못했다.
• 아키텍처 vs 크기: 추론 모델은 크기에 관계없이 코드 및 지시 모델보다 일관되게 우수한 성능을 보인다. 특히, Phi-4 Mini (4B)는 절대적인 정확도는 낮음에도 불구하고 인간의 과업 수준 행동과 가장 높은 정렬도를 보였다.

2. 사고 사슬(CoT)과 노력 (RQ3)

• 난이도 대리 지표로서의 흔적 길이: CoT 흔적 길이와 정확도 사이에는 유의미한 음의 상관관계($\rho = -0.52$)가 존재한다. 긴 흔적은 일관되적으로 오답과 상관관계가 있으며, 이는 흔적 길이가 혼란이나 생산적 연역의 신호가 아니라 과업의 난이도를 추적함을 시사한다.
• 노력의 스케일링: 모델은 난독화가 증가함에 따라(L0에서 L2로) CoT 길이가 단조 증가하는 양상을 보이는 반면, 인간의 반응 시간은 L0에서 L1으로 급증한 후 정체된다. 이는 모델이 계산적 노력을 더 선형적으로 확장하는 반면, 인간은 인지 모드를 전환함을 시사한다.
• 토큰 제한: 강력한 추론 모델들은 엄격한 토큰 제한 하에서 성능이 붕괴되며, 이는 이들의 성능이 "System 2" 숙고에 의존함을 확인시켜 준다.

3. 적대적 이름 변경과 신뢰도 (RQ4)

• 확신에 찬 오류: 적대적 이름 변경(L1b)은 의미적 치환(오도하는 이름)과 식별자 수준의 교란(높은 토큰 불확실성/스파이크)이 동시에 발생할 때만 고신뢰도 오답(HCI)을 유발한다.
• Atom 수준의 실패: 이 실패 모드는 Block Model의 "Atom" 수준으로 국소화된다. 오도하는 식별자는 구조적 추론을 반드시 깨뜨리지 않으면서도 표면적 단서와 계산 사이의 매핑을 방해한다.
• 모델 편차: 적대적 이름 변경 하에서 신뢰도의 변화 방향(증가 또는 감소)은 과업 및 모델에 따라 다르다. 코드 특화 모델은 신뢰도 억제 경향을 보이는 반면, 추론 증류(reasoning-distilled) 모델은 그 반대의 경향을 보인다.

의의 및 시사점

소프트웨어 공학 측면

• 모델 선택: 코드 이해, 디버깅 또는 리뷰가 필요한 작업의 경우, 단순히 정확도 때문이 아니라 실패 모드가 인간 개발자와 일치하기 때문에 추론 최적화 모델이 선호된다. 이는 그들의 추론 흔적을 검사, 교정 및 감독하기 더 쉽게 만든다.
• 과잉 의존의 위험: 장황한 추론(긴 CoT)을 신뢰성의 징후로 간 treating하는 것에 대해 주의를 요한다. 강력한 난독화 하에서 긴 흔적은 종종 고전하고 있음을 나타낸다. 마찬가지로, 식별자 의미가 의심스러운 경우(예: 난독화되었거나 레거시 코드의 경우) 확신에 찬 설명은 잘못된 이해로 이어질 수 있으므로 신뢰해서는 안 된다.

소프트웨어 보안 측면

• 난독화의 효용성: 현재의 LLM이 전통적인 난독화를 무용하게 만들지는 못한다. 제어 흐름 평탄화나 적대적 이름 변경과 같은 변형은 여 still 모델에게 유의미한 이해 장벽을 생성하여, LLM 보조 역공학에 대한 난독화의 보호 가치를 보존한다.
• 적대적 취약성: 공격자는 "atom-level" 취약점을 악용하여, 양호해 보이지만 오도하는 식별자를 사용하여 LLM이 악성 기능을 놓치면서도 안전한 동작을 수행한다고 확신 있게 추론하도록 유도할 수 있다. 이는 인간과 기계 사이의 공유된 사각지대를 강조한다.
• 분석 보조 도구: 추론 최적화 모델은 악성코드 분석을 위한 효과적인 보조 도구가 될 수 있다. 왜냐로 이들이 (인간이 이해할 수 있는 방식으로) 더 예측 가능하게 실패하므로, 잘못된 설명이 심각한 결과를 초래할 수 있는 보안 워크플로우에서 감독하기가 더 용이하기 때문이다.

본 논문은 LLM이 강력하지만, 그들의 "이해"가 균일하지 않다는 결론을 내린다. 추론 최적화 모델은 인간의 인지적 한계에 더 가까운 근사치를 제공하며, 이는 인간의 감독이 필수적인 협업 소프트웨어 공학 및 보안 작업에 더 적합하게 만든다.