💻 computer science

Revisiting Code Debloating with Ground Truth-based Evaluation

이 논문은 테스트 케이스나 코드 크기 같은 불완전한 대리 지표를 대체하기 위해 8 가지 최신 코드 제련 도구를 '진실 기반 (ground-truth)' 평가 패러다임으로 재검토하여, 동적 분석 도구의 과도한 제거와 정적 분석 도구의 과도한 잔존이 기능 오류 및 보안 취약점으로 이어질 수 있음을 규명했습니다.

원저자: Muhammad Bilal, Moiz Ali, Mohit Kumar, Fareed Zaffar, Fahad Shaon, Ashish Gehani, Sazzadur Rahaman

게시일 2026-04-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Muhammad Bilal, Moiz Ali, Mohit Kumar, Fareed Zaffar, Fahad Shaon, Ashish Gehani, Sazzadur Rahaman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"소프트웨어의 불필요한 짐을 덜어주는 (Debloating) 기술"**이 실제로 얼마나 잘 작동하는지, 그리고 우리가 그동안 믿어온 평가 방식이 얼마나 허술할 수 있었는지를 파헤친 연구입니다.

비유하자면, 이 연구는 **"요리사들이 불필요한 재료를 다 제거해서 만든 요리를 평가할 때, 단순히 '재료 무게'만 재고 맛을 보지 않는 실수"**를 지적하는 내용입니다.

다음은 이 논문의 핵심 내용을 일상적인 비유로 설명한 것입니다.

1. 문제의 시작: "무거운 가방을 가볍게 하려는 노력"

소프트웨어는 시간이 지날수록 기능이 계속 추가되면서 무거워집니다 (Bloat). 이 무거운 소프트웨어는 느리고, 해커들이 공격할 구멍 (Attack Surface) 이 많아지며, 유지보수도 어렵습니다.
그래서 연구자들은 **"사용하지 않는 코드를 싹 잘라내서 가볍게 만드는 도구 (Debloaters)"**를 개발했습니다. 마치 여행 가방에서 안 쓰는 옷을 다 빼고 짐을 가볍게 하려는 것과 같습니다.

2. 기존의 잘못된 평가 방식: "테스트 케이스라는 안경"

지금까지 이 도구들을 평가할 때는 **'테스트 케이스 (Test Cases)'**라는 안경을 썼습니다.

기존 방식: "이 프로그램이 테스트에서 통과했으면, 잘 작동하는 거야! 코드도 줄었으니 성공이야!"라고 생각했습니다.
문제점: 하지만 테스트는 마치 **"평범한 날의 날씨만 보고 우산이 필요한지 판단하는 것"**과 같습니다. 비가 오지 않는 날 (테스트) 에 우산을 안 써도 되지만, 갑자기 폭우가 쏟아지면 (실제 환경) 우산이 없으면 큰일이 납니다.
- 기존 도구들은 테스트에서 잘 작동하는 코드만 남기고, 테스트에서는 실행되지 않지만 실제로는 아주 중요한 '비상용' 코드 (오류 처리, 보안 감시 등) 를 잘라내버리는 치명적인 실수를 저지르고 있었습니다.

3. 이 연구의 해결책: "진짜 정답 (Ground Truth) 을 직접 만들기"

연구팀은 "테스트만 믿으면 안 된다"고 판단하고, **진짜 정답 (Ground Truth)**을 직접 만들었습니다.

방법: 11 개의 유명한 소프트웨어 (mkdir, tar, nginx 등) 를 가져와서, 사람이 직접 눈으로 하나하나 코드를 분석했습니다.
작업: "이 기능은 꼭 필요해, 이 기능은 안 써도 돼"라고 **인간이 직접 정답을 적어낸 '완벽하게 다듬어진 버전'**을 11 개나 만들었습니다.
의미: 이제 이 '인간이 만든 정답'을 기준으로, 자동화 도구들이 만든 결과물을 비교해 볼 수 있게 되었습니다. "도구가 잘라낸 게 진짜 불필요한 것일까, 아니면 중요한 것을 잘라낸 것일까?"를 정확히 알 수 있게 된 것입니다.

4. 충격적인 발견: 두 가지 극단적인 실패

연구팀은 8 가지 최신 도구들을 이 '정답'과 비교해 보았습니다. 결과는 참담했습니다.

A. "무작정 잘라내는 도구들" (동적 분석 기반: Blade, Chisel 등)

성격: "테스트할 때 안 쓰면 다 잘라내!"라고 생각한 도구들입니다.
결과: 코드를 94% 까지 줄였다고 자랑했지만, 실제로는 '사용해야 할 중요한 코드'를 94% 까지 잘라내버렸습니다.
비유: 가방을 가볍게 하려고 안 쓰는 옷뿐만 아니라 생필품 (치약, 약, 비상식량) 까지 다 버리고 나간 것입니다.
치명적인 실수:
- 잠금 장치 제거: 여러 사람이 동시에 쓰는 프로그램에서, 서로 충돌하지 않게 하는 '잠금 장치 (Thread Synchronization)'를 버려서 프로그램이 엉망이 됩니다.
- 비상구 폐쇄: 오류가 났을 때 경고하는 '오류 처리 코드'를 버려서, 문제가 생겼을 때 프로그램이 조용히 죽거나 해킹당합니다.

B. "너무 조심스러운 도구들" (정적 분석 기반: Lmcas, Trimmer 등)

성격: "모를까 봐 다 남겨두자"라고 생각한 도구들입니다.
결과: 코드를 거의 잘라내지 못했습니다. 필요 없는 코드를 100% 까지 남겨두었습니다.
비유: 가방을 가볍게 하려고 했지만, 안 쓰는 옷은 물론이고, 옷장 전체를 통째로 가방에 넣고 간 것입니다. 안전하긴 하지만, 무겁기만 합니다.

5. 새로운 발견: 우리가 몰랐던 7 가지 치명적 결함

이 '진짜 정답'을 통해 기존에는 몰랐던 7 가지 치명적인 문제들을 찾아냈습니다.

논리 파괴: 서로 반대되는 코드를 억지로 하나로 합쳐서 프로그램이 망가집니다.
숨겨진 구멍: 테스트에서는 안 보이지만, 특정 입력을 주면 프로그램이 터지거나 해킹당하는 경로가 남아있습니다.
안전장치 제거: "이게 위험하니까 멈춰"라는 코드를 지워서, 프로그램이 무한 루프에 빠지거나 시스템을 파괴합니다.
동시성 붕괴: 여러 사람이 동시에 쓸 때 충돌을 막아주는 코드가 사라져서 데이터가 깨집니다.
오류 무시: 오류가 났을 때 "에러입니다"라고 알려주는 코드가 사라져서, 프로그램이 잘못된 상태로 계속 작동합니다.
변수 방치: 필요한 값을 초기화하지 않아서, 프로그램이 엉뚱한 값을 읽습니다.
문법 오류: 코드를 잘라내다가 문법 자체가 깨져서 아예 실행이 안 됩니다.

6. 결론 및 교훈

이 논문의 핵심 메시지는 **"테스트 케이스만 믿고 소프트웨어를 가볍게 만들면 안 된다"**는 것입니다.

기존의 믿음: "테스트를 통과하면 안전하다."
새로운 진실: "테스트는 중요한 '비상 상황'이나 '은밀한 보안 코드'를 놓칠 수 있다. 진짜 정답 (Ground Truth) 을 기준으로 해야만 소프트웨어가 안전하고 가볍게 다듬어졌는지 알 수 있다."

이 연구는 앞으로 소프트웨어를 최적화할 때, 단순히 코드를 줄이는 것보다 무엇을 남겨야 할지, 무엇을 지워야 할지에 대한 더 깊은 이해와 정확한 기준이 필요함을 보여줍니다. 마치 여행 가방을 정리할 때, 단순히 무게만 재는 게 아니라 "이게 정말 여행에 꼭 필요한 물건인가?"를 다시 한번 꼼꼼히 확인해야 한다는 교훈을 줍니다.

1. 문제 정의 (Problem)

소프트웨어 **디블로팅 (Debloating)**은 사용하지 않는 코드를 제거하여 성능 오버헤드, 공격 표면 (Attack Surface), 유지보수 비용을 줄이는 것을 목표로 합니다. 그러나 기존 애플리케이션 레벨 디블로팅 평가 방식에는 치명적인 한계가 존재합니다.

불완전한 프록시 지표 (Imperfect Proxies) 의존성: 기존 연구들은 정확성을 평가하기 위해 테스트 케이스 기반 평가를, 성능과 보안을 평가하기 위해 코드 크기 축소나 ROP 가젯 (Gadget) 수 감소와 같은 간접 지표에 의존해 왔습니다.
테스트 케이스의 한계: 테스트 케이스는 종종 미묘하지만 의미 있는 오류 (예: 에러 처리 로직 누락, 동시성 문제, 환경 의존적 실패) 를 포착하지 못합니다. 이로 인해 테스트를 통과하더라도 실제로는 기능이 손상되거나 보안 취약점이 발생하는 '거짓된 성취감 (False Sense of Accomplishment)'을 줍니다.
표준화된 벤치마크 부재: 디블로팅 도구의 진정한 성능을 측정할 수 있는 표준화된 방법론이나 'Ground Truth(진실된 기준)'가 부족했습니다.

2. 방법론 (Methodology)

이 논문은 기존 테스트 케이스 중심의 평가를 넘어, 수동으로 생성된 Ground Truth 기반 평가 패러다임을 제시합니다.

A. Ground Truth 데이터셋 구축

11 개 실세계 프로그램 선정: GNU 코어 유틸리티 9 개, SIR 벤치마크 1 개, Nginx 1 개 등 총 11 개 프로그램을 선정했습니다 (5K~76K LoC 규모).
수동 디블로팅 프로세스:
1. 1 단계 (메인 함수 단순화): 필요한 기능 플래그에 해당하는 코드 경로만 남기고 불필요한 경로를 제거하며 전역 상태와 플래그를 기록합니다.
2. 2 단계 (세밀한 단순화): 기본 블록 (Basic Block) 수준에서 각 코드 라인이 필수 기능, 에러 처리, 최적화에 기여하는지 분석합니다. LLVM 커버리지를 활용하여 호출 컨텍스트를 추적합니다.
3. 검증: 두 명의 어노테이터가 독립적으로 Ground Truth 를 생성하고, 코헨의 카파 (Cohen's Kappa) 지수를 통해 일관성을 검증했습니다 (평균 0.93, 매우 높은 일치도).
결과: 각 프로그램의 원래 기능만 유지하도록 수동으로 정제된 'Ground Truth 버전'을 생성하여 이를 비교의 기준으로 삼았습니다.

B. 평가 도구 및 지표

평가 대상: 8 가지 최신 디블로팅 도구 (Blade, Chisel, Cov, CovA, Lmcas, Trimmer, Occam, Razor) 를 선정했습니다. 이들은 소스 - 소스 (S2S), IR-IR, 바이너리 - 바이너리 (B2B) 변환 패러다임과 동적/정적 분석 방식을 모두 아우릅니다.
새로운 평가 지표: Ground Truth ( $P_{gt}$ $P_{g t}$ ) 와 디블로팅된 프로그램 ( $P_d$ $P_{d}$ ) 을 비교하여 다음 지표를 정의했습니다.
- False Removal (FRm): Ground Truth 에 있어야 할 코드가 잘못 제거된 비율 (기능 손실).
- False Retention (FRt): Ground Truth 에 없어야 할 불필요한 코드가 잘못 유지된 비율 (블로트 잔류).
- F1-Score: FRm 과 FRt 를 균형 있게 고려한 종합 점수.

3. 주요 기여 (Key Contributions)

Ground Truth 데이터셋 개발: 11 개의 다양한 실세계 프로그램으로 구성된 체계적인 평가용 데이터셋을 최초로 공개했습니다.
동적/정적 분석 도구의 극단적 행동 규명:
- 동적 분석 기반 도구: 테스트 실행 경로에만 의존하여 필수 코드를 최대 94% 까지 잘못 제거하는 경향이 있음을 발견했습니다.
- 정적 분석 기반 도구: 기능 보존을 위해 필요 없는 코드를 100% 까지 과도하게 유지하는 경향 (Coarse-grained over-approximation) 을 보였습니다.
7 가지 새로운 결함 클래스 발견: 기존 테스트 케이스 기반 평가로는 발견되지 않았던 7 가지 심각한 기능 및 보안 문제를 식별했습니다 (기존에 알려진 3 개를 포함하여 총 7 개).

4. 주요 결과 및 발견 (Results & Findings)

A. 정량적 평가 결과

동적 분석 도구 (Blade, Chisel, Cov 등): 코드 축소율은 높았으나, **False Removal (FRm)**이 매우 높았습니다. 예를 들어, sed 프로그램의 경우 94% 의 필수 코드가 제거되었습니다.
정적 분석 도구 (Lmcas, Trimmer, Occam): **False Removal (FRm)**은 거의 0% 에 가까웠으나, **False Retention (FRt)**이 70~100% 로 매우 높았습니다. 즉, 기능은 살아있지만 불필요한 코드가 대부분 남았습니다.
하이브리드 접근법 (CovA): 동적 분석의 한계를 보완하기 위해 정적 분석을 결합했으나, 동적 분석의 편향성이 그대로 전파되어 여전히 한계가 있었습니다.

B. 질적 분석: 발견된 7 가지 주요 결함

논리적 무결성 실패 (Logical Integrity Failures): 상호 배타적인 코드 블록을 병합하거나, 독립적인 조건문을 중첩 구조로 잘못 변환하여 제어 흐름을 파괴함.
잔여 경로 취약점 (Residual Path Vulnerabilities): 테스트되지 않은 입력이나 플래그가 실행될 때, 부분적으로 제거되거나 유지된 위험한 코드 경로가 활성화되어 충돌이나 보안 취약점을 유발함.
안전하지 않은 중간 상태 실행 (Unsafe Intermediate State): 디블로팅 과정 중 보호 로직 (Guard Logic) 이 제거되어, 테스트 실행 시 컨테이너의 시스템 디렉토리 등을 삭제하는 등 치명적인 오류 발생.
스레드 동기화 문제 (Thread Synchronization): 테스트 중에는 나타나지 않는 레이스 컨디션 (Race Condition) 을 유발하기 위해 뮤텍스 (Mutex) 나 조건 변수 같은 동기화 원시 (Primitives) 가 잘못 제거됨.
예외 처리 코드 제거 (Removal of Error-Handling Code): 환경 의존적 오류 (시스템 호출 실패 등) 나 특정 입력 조건에서만 발생하는 에러 처리 로직이 테스트 커버리지 부족으로 인해 제거되어 프로그램이 불안정해짐.
변수 상태 관리 실패 (Variable State Management): 초기화 코드 제거로 인한 정의되지 않은 행동 (Undefined Behavior), 메모리 손상, 보안 플래그 누락 등.
복잡한 제어 구조 오류 (Complex Control Structures): 복잡한 제어 구조 처리 시 문법적 오류가 발생하거나 컴파일이 불가능한 코드가 생성됨 (특히 Cov/CovA 도구에서 발견).

5. 의의 및 결론 (Significance & Conclusion)

평가 패러다임의 전환: 테스트 케이스만으로는 디블로팅 도구의 정확성과 안전성을 검증할 수 없음을 입증했습니다. Ground Truth 기반 평가가 필수적임을 강조합니다.
현실적 함의: 현재 널리 사용되는 동적 분석 기반 디블로팅 도구들은 코드 크기를 줄이는 대신 기능적 정확성과 보안성을 심각하게 훼손하고 있습니다. 반면, 정적 분석 도구는 안전하지만 불필요한 코드를 남기는 trade-off 가 존재합니다.
미래 방향: 이 연구는 디블로팅 연구 커뮤니티가 단순한 코드 축소율에 매몰되지 않고, Ground Truth 를 통해 프로그램의 논리적 무결성과 보안성을 엄격하게 검증해야 함을 시사합니다. 또한, 향후 LLVM IR 또는 바이너리 레벨의 디블로팅 평가에도 이 데이터셋이 활용될 수 있는 기반을 마련했습니다.

이 논문은 소프트웨어 디블로팅 분야에서 정확한 평가 기준의 부재를 해결하고, 기존 도구들이 가진 치명적인 결함을 체계적으로 규명한 중요한 연구입니다.