기술 요약: TOMOYO Linux – 애플리케이션 실행 상태에 기반한 강제 접근 제어 방식

1. 문제 정의

DAC(임의적 접근 제어) 및 표준 MAC(강제 접근 제어, 라벨 기반 및 경로 기반 모두 포함)을 포함한 기존의 접근 제어 방식은 주로 주체(애플리케이션/프로세스)와 객체(파일/리소스)의 조합에 기반하여 접근 결정을 내린다. 이러한 방식은 애플리케이션의 실행 상태나 특정 접근 요청의 의도를 고려하지 못한다.

본 논문은 기존 시스템의 두 가지 결정적인 한계를 지적한다:

1. 맥락 인식의 부재: 기존 방식은 애플리케이션이 어떻게 실행되었는지 또는 어떤 처리를 수행하려 하는지를 고려하지 않는다. 예를 들어, 웹 브라우저(HTTP 클라이언트)는 사용자 애플리케이션으로서 실행 중인지, 아니면 웹 서버에 의해 호출된 CGI 스크립트로서 실행 중인지에 따라 서로 다른 접근 권한을 가져야 한다. 마찬가지로, 애플리케이션의 동작은 명령줄 인자나 환경 변수(예: 설정 오류 시 민감한 데이터를 포함한 배너 파일을 표시하는 sshd)에 따라 변할 수 있다.
2. 조대(Coarse-Grained) 샌드박싱: 실행 상태가 무시되기 때문에, 기존 MAC 기반의 샌드박스는 지나치게 포괄적일 수 있다. 전체 애플리케이션을 차단하지 않고는 특정 작업(예: 구성 파일을 콘텐츠 파일로 이름을 변경하는 것)을 제한할 수 없으므로, 피해 국지화가 불충분하다.

핵심 문제는 기존의 접근 제어가 동일한 실행 파일이 서로 다른 맥락에서 실행되는 경우(예: SSH를 통해 로그인한 셸 vs 콘솔을 통해 로그인한 셸 vs 웹 서버에 의해 생성된 셸)를 구분할 수 없으며, 특정 접근 요청을 허용했을 때의 잠재적 효과를 평가할 수 없다는 점이다.

2. 방법론

저자들은 애플리케이션 실행 이력과 처리 의도를 의사 결정 과정에 포함하는 새로운 접근 제어 방식을 제안한다. 이 방법론은 리눅스 보안 모듈(LSM)인 TOMOYO Linux로 구현되었다.

2.1 프로그램 실행 이력

시스템은 모든 프로세스에 대해 "프로그램 실행 이력"을 추적한다. 이 이력은 시스템 시작(<kernel>)부터 현재 프로세스가 생성될 때까지 실행된 모든 애플리케이션의 경로 이름 목록이다.

• 메커니즘: 프로세스가 fork하고 새로운 애플리케이션을 실행(execve를 통해)할 때, 자식 프로세스는 부모의 이력을 상속받고 자신의 프로그램 이름을 추가한다.
• 결과: 두 프로세스가 동일한 바이너리(예: /bin/bash)를 실행하더라도, 실행 경로(예: init $\to$ agetty $\to$ login $\to$ bash와 init $\to$ ssd $\to$ bash)가 다르면 서로 다른 실행 이력을 갖게 된다.

2.2 도메인 기반 분류

실행 이력을 바탕으로 시스템은 **도메인(Domain)**을 정의한다.

• 도메인은 <kernel>에서 시작하여 실행 체인을 따르는 특정 실행 상태를 나타내는 고유 식별자이다.
• 접근 제어 정책은 바이너리가 아닌 도메인별로 정의된다. 이를 통해 시스템 관리자는 동일한 애플리케이션이라도 어떻게 실행되었는지에 따라 서로 다른 권한을 부여할 수 있다.
• 도메인 구조는 트리 형태를 이루어, 중첩된 셸이나 권한 상승(예: su)이 특정 제한된 권한을 가진 새로운 별도의 도메인을 생성하는 RBAC(역할 기반 접근 제어) 기능을 지원한다.

2.3 조건 기반 접근 결정

정책 언어는 커널 내에서 관리되는 다양한 파라미터에 따라 접근 결정을 조건화할 수 있다:

• 명령줄 인자: 특정 플래그에 따른 실행 제한 (예: exec.argv[0]="passwd").
• 환경 변수: 프록시 설정이나 탐색 경로(search paths)에 따른 필터링.
• 파일 속성: 파일 권한, 소유권 또는 특정 파일 내용 확인.
• 사용자 ID: 유효 사용자 ID(effective UID) 또는 실제 사용자 ID(real UID)에 따른 제한.

이러한 요소들을 조건으로 사용함으로써 시스템은 애플리케이션의 "의도"를 추론할 수 있다. 예를 들어, 특정 인자가 정당한 관리 작업을 나타내는 경우에만 파일 읽기 작업을 허용하도록 설정할 수 있으며, 일반적인 읽기 작업과는 구분할 수 있다.

2.4 참조 모니터(Reference Monitor)를 통한 구현

TOMOYO Linux는 LSM 프레임워크를 사용하여 리눅스 커널 내에 참조 모니터를 구현한다.

• 가로채기(Interception): 시스템 콜을 후킹하여 접근 요청을 가로챈다.
• 결정: 커널은 프로세스의 현재 도메인에 정의된 정책을 기준으로 요청을 검사한다.
• 강제(Enforcement): 요청이 정책(모든 필수 및 선택적 조건 포함)과 일치하면 허용되고, 그렇지 않으면 거부된다.
• 화이트리스트 방식: 시스템은 화이트리스트 방식으로 작동하며, 명시적으로 허용되지 않은 모든 것은 거부된다.

3. 주요 기여

1. 실행 상태 인식: 본 논문은 프로그램 실행 이력 체인을 사용하여 애플리케이션의 실행 상태를 고유하게 식별하는 방법을 도입함으로써, 기존 MAC가 달성할 수 없는 세밀한 접근 제어를 가능하게 했다.
2. 의도 기반 정책: 방법론은 단순히 주체와 객체의 신원뿐만 아니라, 인자, 환경, 이력을 통해 추론된 애플리케이션이 수행하려는 *처리(processing)*를 기반으로 정책을 정의할 수 있게 한다.
3. TOMOYO Linux 구현: 저자들은 도메인 정의 및 관리를 위한 정책 편집기(CUI), 시스템 동작을 관찰하여 정책을 자동 생성하는 "학습 모드(Learning Mode)", 와일드카드 및 복잡한 조건식 지원을 포함한 완전한 리눅스 커널 구현을 제공한다.
4. RBAC 통합: 도메인 구조는 RBAC를 자연스럽게 지원하여, 관리자가 프로세스 실행 계층(예: su에 의해 생성된 셸은 원래의 로그인 셸과 다른 권한을 가짐)에 따라 역할을 정의할 수 있게 한다.

4. 결과 및 평가

본 논문은 데모 실험과 성능 벤치마크를 통해 TOMOYO Linux를 평가한다.

4.1 사용성 및 관리

• 정책 수립: "학습 모드"를 통해 관리자는 일정 기간(예: 웹 서버의 경우 2주) 동안 시스템을 관찰하여 실행 이력과 접근 패턴을 수집할 수 있다. 이는 관리자가 복잡한 라벨 전이를 수동으로 매핑해야 하는 라벨 기반 MAC(SELinux 등)에 비해 정책 정의에 필요한 수동 노력을 크게 줄여준다.
• 데모: 2007년 웹 서버 대상 실험에서 참가자들은 원리를 이해하고 정책을 빠르게 편집할 수 있었다. 경로 이름과 실행 이력을 사용하는 방식은 관리자에게 시스템 동작을 투명하게 보여주었다.
• SELinux와의 비교: 복잡한 라벨 전이와 환경에 맞지 않을 수 있는 표준 정책을 이해해야 하는 SELinux와 달리, TOMOYO는 도메인별로 독립적인 정책 정의를 허용하여 관리를 더 직관적으로 만든다.

4.2 보안 효과성

본 방법론은 다음 상황에 효과적임이 입증되었다:

• 무단 애플리케이션 실행: 취약한 애플리케이션이 침해되더라도 특정 도메인의 권한을 제한함으로써 셸이나 승인되지 않은 도구의 실행을 방지한다.
• 경로 트래버스(Path Traversal): 커널 데이터 구조를 기반으로 절대 경로를 계산함으로써 공격을 무력화한다.
• 심볼릭 링크 공격: 특정 디렉토리와 타겟에 대해 명시적으로 허용되지 않는 한 심볼릭 링크 생성을 제한한다.

4.3 성능 영향

성능은 Ubuntu 10.04 시스템(Core 2 Duo, 2GB RAM)에서 LMBench를 사용하여 측정되었다.

• 후킹되지 않은 시스템 콜: TOMOYO가 가로채지 않는 시스템 콜은 미미한 영향(측정 오차 범위 내 ±5%)만을 보였다.
• 후킹된 시스템 콜:
  • 파일 작업: 파일 생성 및 메타데이터 관련 작업(예: stat, open/close, 0K File Create)에서 상당한 오버헤드가 관찰되었으며, 지연 시간은 약 60%에서 128% 사이였다. 이는 경로 이름과 권한을 확인하는 오버헤드 때문이다.
  • 프로세스 생성: fork 및 execve 작업은 실행 이력 상속 처리로 인해 약 5-15%의 지연을 보였다.
  • 네트워크: TCP 작업은 최소한의 오버헤드(~1%)를 보였으나, UDP는 약 28%의 오버헤드를 보였다.
• 정책 규모: 도메인과 접근 권한의 수가 증가함에 따라 검색 시간이 증가한다고 언급되어 있다. 그러나 경험적 데이터에 따르면 일반적인 배포 환경에서 도메인 수와 도메인당 규칙 수는 2,000개 미만으로 유지되어, 성능 저하가 일반적인 사용 범위 내에서 허용 가능한 수준임을 시사한다.

5. 의의 및 주장

본 논문은 TOMOYO Linux가 초점을 정적인 주체-객체 쌍에서 동적인 실행 상태로 전환함으로써 강제 접근 제어의 중요한 진보를 이루었다고 주장한다.

• 상호 보완성: 저자들은 이 방법이 라벨 기반 MAC을 대체하는 것이 아니라 보완하는 것이라고 규정한다. 라벨 기반 MAC이 강력한 격리를 통해 정보 유출을 방지하는 데 탁고하다면, TOMOYO는 정보 시스템의 올바른 상태를 유지하고 애플리케이션이 의도하지 않은 작업을 수행하는 것을 방지하는 데 탁월하다.
• 실용성: 애플리케이션 수정이나 복잡한 라벨 할당을 요구하는 대신 기존 커널 정보(실행 이력, 인자, 환경)를 활용함으로써, 세밀한 보안을 위한 실용적인 경로를 제공한다.
• 사용성: 관찰을 통한 정책 생성 능력(학습 모드)과 실행 이력의 직관적인 특성은 MAC 시스템과 관련된 높은 진입 장벽을 해결한다.

결론적으로, TOMOYO Linux는 기존 방식이 식별할 수 없는 승인되지 않았거나 불필요한 접근 요청을 거부함으로써 정보 보안을 강화하는 동시에 시스템 관리자가 관리하기 용이한 상태를 유지한다고 본 논문은 결론짓는다. 향후 연구로는 실행 상태의 정확도를 더욱 정교하게 하기 위해 이 방법론을 애플리케이션 선언(application declarations)과 결합하는 것이 제안되었다.