Kops: Safely Extending the eBPF Compilation Pipeline with Native Operations

기술 요약: Kops – 네이티브 연산을 통한 eBPF 컴파일 파이프라인의 안전한 확장

1. 문제 정의

eBPF(Extended Berkeley Packet Filter)는 네트워킹, 관측성, 보안을 위해 OS 커널을 안전하게 확장하며, 이를 위해 인커널 검증기(in-kernel verifier)가 프로그램의 안전성을 확인한 후 Just-In-Time(JIT) 컴파일러가 이를 네이티브 코드로 변환하는 컴파일 파이프라인을 채택하고 있습니다. 그러나 커널 JIT는 단순하고 신뢰할 수 있는 설계를 지향하므로, 바이트코드 명령어를 한 번에 하나씩 단일 패스로 변환합니다. 이러한 "오퍼코드당(per-opcode)" 설계는 명령어 간의 교차 최적화를 방나하며, 현대 CPU가 단일 명령어로 실행할 수 있는 하드웨어 이디엄(예: rotate, conditional select)을 인식하지 못합니다.

본 논문의 특성 분석에 따르면, eBPF 프로그램은 ARM64에서 최대 1.98배, x86-64에서 1.57배 느리게 실행됩니다. 이러한 성능 격차는 주로 다중 명령어 시퀀스를 효율적인 네이티브 패턴으로 최적화하지 못하는 커널 JIT의 능력 부족에서 기인합니다. 기존 솔루션은 제한적입니다. 커널 JIT에 직접 최적화를 추가하는 것은 긴 릴리스 주기, 업스트림 수용 필요성, 그리고 신뢰 컴퓨팅 기반(TCB)의 확대로 인해 어렵습니다. 유저스페이스 최적화 도구(예: Merlin, K2)는 바이트코드를 재작성할 수는 있지만, 표준 eBPF 명령어 집합 외부의 네이티브 명령어를 생성할 수는 없습니다.

2. 방법론: Kops 메커니즘

저자들은 커널 코어를 수정하지 않고도 유저스페이스 컴파일러와 커널 모듈이 새로운 연산을 도입할 수 있게 해주는 확장 인터페이스인 Kops를 제시합니다. Kops는 각 새로운 연산에 대해 이중 표현(dual representation) 원칙을 기반으로 작동합니다:

1. 증명 시퀀스(Proof Sequence): 기존의 인커널 검증기가 체크하는 바닐라 eBPF 명령어들의 시퀀스입니다. 이는 안전성 보장(메모리 안전성, 종료성)이 유지됨을 보장합니다.
2. 네이티브 에밋(Native Emit): JIT 컴파일러에 의한 직접적인 머신 코드 생성입니다.

워크플로우:

• 인식(Recognition): 컴파일 타임 인식기(유저스페이스 내)가 지원되는 연산에 해당하는 패턴(예: rotate를 위한 특정 shift 및 OR 시퀀스)을 식별하고 이를 "확장 명령어(extended instructions)"로 재작성합니다.
• 검증(Verification): 로드 시, 검증기는 확장 명령어를 다시 증명 시퀀스(바닐라 eBPF)로 낮추고(lowering) 표준 안전성 분석을 수행합니다.
• 복원 및 실행(Restoration & Execution): 검증을 통과하면, JIT는 확장 명령어를 복원하고 특정 아키텍처를 위한 네이티브 머신 코드를 제공하는 디스패처(descriptor)로 전달합니다.

제약 조건 및 안전성:

• 커널 코어의 변경은 최소한이며 일반적입니다.
• 검증기는 아키텍처 독립적이며, 오직 증명 시퀀스만을 봅니다.
• **신뢰 컴퓨팅 기반(TCB)**은 각 연산에 대한 특정 네이티브 에밋 코드에 의해서만 확장됩니다. 인식기와 증명 시퀀스는 TCB에 포함되지 않습니다. 만약 인식기의 버그가 안전하지 않은 재작성을 생성하더라도, 검증기가 이를 거부할 것입니다.
• 형식 검증(Formal Verification): 저자들은 Lean 4를 사용하여 모든 연산에 대해 네이티브 에밋이 증명 시퀀스와 동일한 eBPF 가시적 아키텍처 상태를 생성함을 증명했습니다.

3. 주요 기여

• Kops 메커니즘: 기존 검증기를 재사용하여 안전성을 유지하면서 새로운 연산으로 eBPF 컴파일 파이프라인을 확장하는 프레임워크입니다. 이는 안전성 증명(바닐라 eBPF)과 성능 최적화(네이티브 에밋)를 분리합니다.
• EInsn 구현: x86-64 및 ARM64에서 표준 eBPF 세트가 여러 명령어를 요구하는 지점들을 단일 네이티브 명령어로 매핑하는 7가지 하드웨어 이디엄 연산(Rotate, Conditional Select, Bit Extract, Byte Swap, Prefetch, Bulk Copy, LEA)을 제공하는 구체적인 Kops 인스턴스입니다.
• 형식 증명: 각 EInsn 연산에 대해 증명 시퀀스와 네이티브 에밋 사이의 의미론적 동등성을 검증하는 Lean 4 증명을 통해, 검의 보장이 최적화된 코드에도 그대로 적용됨을 보장합니다.
• 커널 구현: (검증기 로워링/복원, JIT 디스패치 및 등록을 포함하는) 리눅스 커널 코어에 추가된 929라인의 코드와 유저스페이스 컴파일 타임 인식기입니다.

4. 결과

평가는 x86-64 및 ARM64 환경에서 27개의 순수 바이트코드 마이크로벤치마크와 프로덕션 애플리케이션(Cilium 및 Katran)을 사용하여 수행되었습니다.

• 마이크로벤치마크 성능:
  • x86-64: EInsn은 수정되지 않은 커널 JIT 대비 최대 24%의 속도 향상(1.242×)을 달야냈으며, 네이티브 코드와의 성능 격차 중 **42%**를 회복했습니다.
  • ARM64: EInsn은 최대 22%의 속도 향상(1.222×)을 달성했습니다.
  • 코드 크기: 네이티브 코드 크기가 12–23% 감소했습니다.
• 프로덕션 애플리케이션:
  • Cilium (x86-64): 처리량이 7.4% 개선되었습니다(1.074×).
  • Katran (ARM64): 처리량이 7.3% 개선되었습니다(1.073×).
• 오버헤드: 로드 타임 오버헤드는 무시할 수 있는 수준이었습니다(스톡 커널 대비 기하 평균 비율 0.99×).
• 정책 민감도: 연구 결과, 일치하는 모든 지점을 무분별하게 활성화하는 것이 항상 최적의 성능을 보장하는 것은 아니라는 점이 밝혀졌습니다. "수익성(profitability)" 정책(워크로드별 이득에 따라 패밀리를 선택하는 방식)이 최대 범위를 확보하는 것보다 더 효과적입니다.
• 상한선 비교: 저자들은 EInsn을 "네이티브-인-커널(native-in-kernel)" 접근 방식(애플리케이션의 전체 네이티브 코드를 신뢰함)과 비교했습니다. 네이티브 방식은 Cilium에서 2.358배의 속도 향상을 달성했지만, 애플리케이션의 네이티브 코드를 신뢰해야 하므로 TB를 크게 확장시켰습니다. EInsn은 제어된 속도 향상을 제공하면서도 전체 애플리케이션 바이너리를 신뢰하지 않는 중간 지점에 위치합니다.

5. 의의 및 주장

본 논문은 Kops가 안전 모델을 훼손하거나 TCB를 크게 확장하지 않고도 eBPF JIT의 성능 한계를 성공적으로 해결했다고 주장합니다. 안전성 증명(바닐라 eBPF)과 성능 최적화(네이티브 에밋)를 분리함으로써, Kops는 커널 내에서 안전하게 활용하기 어려웠던 하드웨어 특화 이디엄을 도입할 수 있게 합니다.

저자들은 이 접근 방식이 업스트림 커널 JIT 수정이나 명령어 집합 개정을 요구하지 않는다는 점을 강조합니다. 대신, 새로운 연산은 로드 가능한 커널 모듈로 배포됩니다. 이 연구는 제한된 범위의 하드웨어 이디엄을 통해 eBPF의 네이티브 성능 격차를 상당 부분 회복할 수 있음을 보여주며, 커널 실행에 필요한 엄격한 안전 보장을 유지하면서도 고성능, 저지연 커널 작업을 위한 eBPF의 생존력을 높였습니다.