Post-Training Local LLM Agents for Linux Privilege Escalation with Verifiable Rewards

이 논문은 "Post-Training Local LLM Agents for Linux Privilege Escalation with Verifiable Rewards" (검증 가능한 보상을 통한 Linux 권한 상승을 위한 로컬 LLM 에이전트 후학습) 라는 제목으로, TU Wien(비엔나 공과대학교) 연구팀이 작성한 것입니다.

이 연구는 클라우드 기반의 대형 폐쇄형 모델 (Closed-source) 에 의존하지 않고, 제한된 리소스 환경에서도 보안 작업 (특히 권한 상승) 을 수행할 수 있는 소규모 로컬 LLM 에이전트를 개발하는 방법을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 현황: 현재 가장 강력한 LLM 기반 보안 에이전트 (예: AIxCC, CyberGym 등) 는 대부분 폐쇄형 소스 코드와 클라우드 전용 추론에 의존합니다. 이는 데이터 주권 (Sensitive Data), 재현성, 비용 효율성 측면에서 큰 제약이 됩니다.
• 필요성: 민감한 코드나 시스템 상태를 외부로 전송하지 않으면서, 엄격한 상호작용 예산 (Interaction Budget) 내에서 보안 작업을 수행할 수 있는 소규모 로컬 모델에 대한 요구가 급증하고 있습니다.
• 과제: 소규모 모델이 복잡한 다단계 상호작용 (Multi-step reasoning) 과 도구 사용 (Tool-use) 을 통해 Linux 권한 상승 (Privilege Escalation) 을 성공적으로 수행하도록 만드는 것은 아직 충분히 연구되지 않았습니다.

2. 방법론 (Methodology)

연구팀은 Qwen3-4B(40 억 파라미터) 모델을 기반으로 한 2 단계 후학습 (Post-training) 파이프라인을 제안합니다.

A. 문제 설정 및 에이전트 인터페이스

• 작업: SSH 를 통해 저권한 사용자로 접속한 후, root 권한을 획득하는 것.
• 환경: 격리된 Docker 컨테이너 내에서 실행되며, exec_command(명령어 실행) 와 test_credentials(자격 증명 확인) 두 가지 도구만 사용 가능합니다.
• 평가 지표: 고정된 라운드 수 (예: 20 라운드) 내에 root 에 도달할 확률 $P(root | R)$.

B. 데이터 누출 방지 (Leakage Controls)

• 프로시저럴 생성 (Procedural Generation): 학습 데이터는 알고리즘적으로 생성된 환경에서 수집되며, 평가용 벤치마크 (12 개 시나리오) 와는 완전히 분리됩니다.
• 누출 방지: 학습 데이터 생성 시 벤치마크의 특정 해결 경로 (Exploit paths), 고정된 비밀번호, 파일 경로 등을 배제하여 모델이 단순 암기 (Memorization) 가 아닌 일반화된 전략을 학습하도록 합니다.

C. 2 단계 후학습 파이프라인

1. 지도 미세 조정 (SFT - Supervised Fine-Tuning):
   • 전문가 (Teacher Model) 가 생성한 성공적인 권한 상승 트레이스 (Trace) 를 사용하여 모델을 학습시킵니다.
   • Reconnaissance(정찰) 에서 Exploitation(공격) 에 이르는 전체 과정을 학습시켜 모델에 기초적인 취약점 지식과 도구 사용 능력을 부여합니다.
2. 검증 가능한 보상 강화 학습 (RLVR - Reinforcement Learning with Verifiable Rewards):
   • 보상 함수 설계: 단순히 성공 여부뿐만 아니라 속도 (라운드 수), 정찰의 다양성, 실패 패턴 (중복 명령, 잘못된 도구 사용 등) 을 고려한 보상 함수를 설계했습니다.
   • 목표: 제한된 라운드 예산 내에서 효율적으로 권한을 획득하는 행동을 학습시킵니다.
   • 알고리즘: 비동기적 중요도 가중 정책 최적화 (AIPO) 를 사용하여 학습 안정성을 확보했습니다.

3. 주요 기여 (Key Contributions)

1. 일반화 테스트를 위한 누출 방지 설정: 벤치마크 특정 아티팩트를 배제하고 절차적 생성 환경만 학습하여, 모델이 실제 능력을 향상했는지 (일반화) 아니면 암기했는지 (과적합) 를 명확히 구분합니다.
2. 통계적 검증을 통한 예산 기반 평가: 단일 실행이 아닌, 각 시나리오당 10 회 반복 실행과 95% 신뢰구간 (Confidence Intervals) 을 포함하여 엄격한 라운드 예산 하에서의 성능을 평가합니다.
3. 효율적인 프런티어 수준의 소형 언어 모델: 4B 파라미터 모델이 RL 후학습을 통해 폐쇄형 최상위 모델 (Claude Opus 4.6) 과 유사한 성능을 달성하면서도, 추론 비용은 100 배 이상 절감되었음을 입증했습니다.

4. 실험 결과 (Results)

• 성능 비교 (12 개 벤치마크 시나리오, 20 라운드 예산 기준):
  • 기초 모델 (Qwen3-4B): 42.5% 성공률
  • SFT 적용 모델: 80.8% 성공률 (기초 대비 2 배 이상 향상)
  • RL 적용 모델 (PrivEsc-LLM): 95.8% 성공률
  • 비교 대상 (Claude Opus 4.6): 97.5% 성공률
  • DeepSeek V3.2: 65.8% (20 라운드 기준), 94.2% (60 라운드 기준)
• 의미: SFT 는 기본적인 능력을 크게 향상시켰으며, RL 은 제한된 예산 내에서 효율성을 극대화하여 폐쇄형 최상위 모델에 근접하는 성능을 달성했습니다. 특히 라운드 수가 적을 때 (R=5, R=10) PrivEsc-LLM 의 우위가 두드러집니다.
• 비용 효율성:
  • 성공적인 권한 상승 1 회당 예상 비용은 Claude Opus 4.6 이 약 $0.62 인 반면, PrivEsc-LLM 은 약 $0.005로 100 배 이상 저렴합니다.
  • 학습 비용 (약 $269) 을 포함하더라도, 모델을 재사용할 경우 총비용은 API 기반 솔루션보다 훨씬 낮습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: 소규모 오픈 웨이트 모델이 후학습 (SFT + RL) 을 통해 보안 분야에서 최상위 폐쇄형 모델과 경쟁할 수 있음을 입증했습니다.
• 방법론적 의의: "검증 가능한 보상 (Verifiable Rewards)"을 활용한 후학습이 보안 에이전트 개발에 효과적임을 보여주었습니다. 이는 단순히 정답을 맞추는 것을 넘어, 제한된 자원 하에서 최적의 의사결정 경로를 학습하게 합니다.
• 확장성: 이 연구는 Linux 권한 상승이라는 구체적인 사례를 다루지만, 자동화된 검증이 가능한 다른 보안 작업 (취약점 발견, 패치 검증, 크래시 재현 등) 에도 동일한 방법론이 적용 가능함을 시사합니다.
• 윤리적 고려: 이 연구는 악용 (Dual-use) 위험이 있으나, 알려진 취약점과 격리된 환경에서 실험을 제한하여 위험을 완화했습니다. 모든 코드와 데이터는 재현성을 위해 공개될 예정입니다.

요약하자면, 이 논문은 클라우드 의존도를 줄이고 데이터 주권을 보장하면서도, 최상위 수준의 보안 성능을 내는 로컬 LLM 에이전트를 구축할 수 있는 검증 가능한 후학습 프레임워크를 제시한 획기적인 연구입니다.