기술 요약: ASSEMBLAGE-DEEPHISTORY

문제 제기

이진 분석 연구는 사용 가능한 데이터셋의 구조적 격차에 의해 근본적으로 제약받고 있습니다. 현실 세계의 소프트웨어는 시간에 따라 진화하지만, 기존 코퍼스는 일반적으로 변이의 한두 가지 축만 포착합니다. 현재 데이터셋은 고정된 버전의 크로스-컴파일러 빌드를 제공하거나(시간적 역사 부재), 크로스-빌드 다양성이 없는 프로젝트의 다중 버전 스냅샷을 제공하거나(컴파일러/최적화 변동성 부재) 합니다. 또한, 취약점 라벨이 지정된 코퍼스는 일반적으로 CVE 를 단일 빌드 구성과 연관시킵니다. 이러한 "평면적" 제한으로 인해 연구자들은 수년에 걸친 소프트웨어 진화 과정에서 컴파일 선택과 버전 드리프트가 어떻게 상호작용하는지 연구할 수 없으며, 자동화 분석 도구에서 진정한 의미 추론과 피상적인 패턴 매칭을 구별하는 능력을 저해합니다.

방법론

저자들은 크로스-빌드 다양성, 다년 버전 역사, CVE 라벨을 단일 쿼리 가능한 구조로 통합한 통합 프레임워크인 ASSEMBLAGE-DEEPHISTORY를 제시합니다.

데이터셋 구축

• 범위: 본 코퍼스는 248 개의 오픈소스 C/C++ 프로젝트에서 파생된 73,610 개의 이진 파일로 구성됩니다.
• 플랫폼 및 컴파일러: MSVC 로 컴파일된 42,188 개의 Windows PE 이진 파일과 GCC 및 Clang 으로 컴파일된 31,422 개의 Linux ELF 이진 파일이 포함됩니다.
• 구성: 이진 파일은 여러 최적화 수준 ( -O0 부터 -O3 까지 및 Debug/RelWithDebInfo 프로파일) 에서 빌드됩니다.
• 시간적 깊이: 프로젝트는 평균 5.2 개의 고유한 버전을 가지며, 140 개의 프로젝트는 2 년 이상의 개발 기간 (일부는 최대 10 년) 을 포괄합니다.
• 메타데이터: 모든 이진 파일은 소스 코드, 내부 함수, 디버그 정보 (PDB/DWARF), 형제 빌드, 역사적 버전, 그리고 329 개의 CVE 라벨이 지정된 취약점과 연결된 중앙 SQLite 데이터베이스에 색인화됩니다.
• 파이프라인: 구축 과정은 Windows 종속성 해결을 위해 Conan 레시피를 활용하고 Linux 에는 직접 업스트림 GitHub 빌드를 사용하여, 종종 중앙 집중식 패키지 스냅샷이 부재한 역사적 Windows 버전이 재구성되도록 보장합니다.

평가 프레임워크

본 논문은 세 가지 다른 분석을 통해 데이터셋의 유용성을 검증합니다:

1. 취약점 추론을 위한 3 단계 LLM 벤치마크:

   • 작업 1 (인식): 모델들은 CVE 설명 유무에 관계없이 소스 코드 또는 역컴파일된 이진 파일을 사용하여 후보 집합에서 취약한 함수를 식별합니다.
   • 작업 2 (지도된 탐지): 에이전트들은 스트립된 이진 파일에서 취약점을 위치시키기 위해 사용자 정의 BinaryAPI(역컴파일된 C, p-code, 디스어셈블리, 호출 그래프 제공) 를 사용합니다. 이는 "솔로" 모드 (맥락 없음) 와 "전략 유도" 모드 (다른 LLM 이 생성한 전략 사용) 에서 테스트됩니다.
   • 작업 3 (크로스-빌드 일반화): 참조 빌드에서 작성된 전략이 컴파일 변형 (다른 OS, 컴파일러, 최적화 또는 버전) 에 대해 재생되어 정확도 감쇠를 측정하고, 빌드 특정 패턴 매칭 대비 의미 추론을 테스트합니다.

2. 유사도 분석:

   • 저자들은 MalConv(CNN 임베딩), jTrans(Transformer 임베딩), TLSH(퍼지 해시) 라는 세 가지 상용 이진 표현을 비교하여 서로 다른 빌드 간에 동일한 패키지 이진 파일이 얼마나 잘 군집화되는지 확인합니다.

3. 계층적 베이지안 회귀:

   • 통계 모델은 이진 유사도를 시간적 거리(일), 파일 변경(정규화된 소스 파일 수), 그리고 커밋 빈도의 기여도로 분해합니다. 이 분석은 코드 진화와 이진 유사도 신호 간의 관계를 조사합니다.

주요 결과

LLM 취약점 이해

• 추론 vs 패턴 매칭: CVE 컨텍스트 없이 (zero-shot) 모든 모델은 이진 입력에 대해 무작위 기준선 (약 20% 정확도) 근처에서 수행했습니다. CVE 설명을 제공하면 정확도가 크게 향상되어 (최대 +0.60 증가), 모델들이 내재적 이진 추론보다는 컨텍스트에 크게 의존함을 시사합니다.
• 크로스-빌드 전이: 전략이 크로스-빌드 변형에 적용될 때 정확도가 하락했습니다. 특히 버전 차이가 OS 또는 컴파일러 변경보다 더 큰 성능 저하 (Hit@1 감소) 를 초래하여, 현재 전략들이 소프트웨어 진화에 관한 공유된 맹점을 가지고 있음을 나타냅니다.
• 에이전트 능력: "Qwen" 에이전트는 전략 유도 작업에서 "Gemma" 에이전트보다 현저히 우수한 성과를 보였으며, 이는 도구 호출 능력과 실행 신뢰성이 전략 효과성의 중요한 병목 요소임을 시사합니다.

유사도 및 군집화

• MalConv 및 jTrans: 두 임베딩 모두 패키지 내 및 패키지 간 쌍 사이의 분리도가 제한적이었습니다 (MalConv 의 Cohen's d = +0.21; 두 경우 모두 높은 절대 유사도 평균). 이 코퍼스에서 이 방법들은 다른 패키지의 이진 파일과 동일한 패키지의 이진 파일을 명확하게 구별하지 못했습니다.
• TLSH: 가장 잘 수행되어 높은 패키지 내/간 대비 (Cohen's d = +1.36) 를 가진 희소 유사도 공간을 생성했습니다. TLSH 는 libnghttp2와 nghttp3 사이와 같은 진정한 크로스-패키지 코드 재사용을 성공적으로 포착했습니다.

진화적 분석

• 유사도의 동인: 베이지안 회귀는 정규화된 파일 변경이 MalConv 와 TLSH 에 대해 감소된 이진 유사도의 가장 강력하고 일관된 예측 변수임을 밝혔습니다.
• 커밋 영향: 커밋 수는 TLSH 유사도에 유의미한 부정적 영향을 미쳤으며 (가장 큰 크기 효과), MalConv 나 jTrans 에서는 유의하지 않았습니다. 이는 TLSH 가 누적된 바이트 레벨 변경에 더 민감함을 시사합니다.
• 시간적 감쇠: 캘린더 시간은 MalConv 유사도에만 안정적인 예측 변수였습니다. TLSH 와 jTrans 의 경우 커밋과 파일 변경을 고려하면 시간의 영향은 미미했습니다.

중요성 및 주장

본 논문은 ASSEMBLAGE-DEEPHISTORY가 컴파일 컨텍스트와 릴리스 역사를 1 순위 쿼리 가능한 메타데이터로 하는 구조에서 크로스-빌드 다양성, 다년 버전 커버리지, CVE 라벨을 결합한 최초의 자원이라고 주장합니다.

주요 중요성은 단일 축 코퍼스에 의해 가려진 효과를 드러내는 능력에 있습니다:

1. 추론과 암기 구별: 기본 취약점 의미는 일정하게 유지하면서 빌드 구성을 변경함으로써, 이 데이터셋은 LLM 이 취약점 의미를 진정으로 이해하는지 아니면 빌드 특정 아티팩트만 매칭하는지 연구자들이 테스트할 수 있게 합니다.
2. 유사도 신호 평가: 이진 유사도 도구를 위한 엄격한 테스트베드를 제공하여, 고립 상태에서는 안정적이었던 신호 (예: 임베딩) 가 다양한 빌드와 버전에 적용될 때 실패할 수 있음을 보여줍니다.
3. 진화 이해: 이진 유사도를 시간적, 구조적, 활동 주도 구성 요소로 분해하여 소프트웨어 진화가 이진 레벨 분석에 미치는 영향에 대한 새로운 통찰력을 제공합니다.

저자들은 이러한 축들을 공동으로 연구하는 것이 필수적이라고 결론지었습니다. 왜냐하면 이들의 상호작용은 데이터셋이 단일 스냅샷이나 단일 컴파일러 구성으로 제한될 때 여전히 숨겨져 있는 현재 분석 방법의 취약점을 드러내기 때문입니다.