기술 요약: 헌법적 메타-STPA (Constitutional Meta-STPA)

1. 문제 정의

대규모 언어 모델(LLM)은 엄격한 프레임워크인 시스템 이론적 프로세스 분석(STPA) 내에서 안전 분석 아티팩트(손실, 위험, 불안전한 제어 동작[UCA], 제약 조건)의 생성을 자동화하는 데 점점 더 많이 활용되고 있습니다. 그러나 결정적인 사각지대가 존재합니다. 즉, 대상 시스템(예: 항공기, 의료 기기)은 분석되지만, 분석을 수행하는 LLM 지원 도구 자체는 거의 조사되지 않는다는 점입니다. 이러한 도구들 역시 스스로가 안전 관련 시스템으로서, 표준을 환각하거나 검증 불가능한 제약 조건을 생성하거나 감사 추적(audit trail)을 유지하는 데 실패할 수 있는 위험을 안고 있습니다. 본 논문은 근본적인 질문을 던집니다: "분석가를 누가 분석하는가?" 현재의 문헌에는 LLM 지원 안전 도구 자체를 공식적으로 분석하는 방법론이 부족하며, 이는 해당 도구가 STPA가 방지하고자 하는 바로 그 '불안전한 제로 제어 동작'에 취약하게 만듭니다.

2. 방법론: 헌법적 메타-STPA (Constitutional Meta-STPA)

저자들은 AI 지원 안전 도구 클래스에 STPA를 적용하여 해당 도구 고유의 거버넌스 헌법을 도출하는 폐쇄 루프 방법론인 헌법적 메타-STPA를 제안합니다.

2.1. 메타-STPA 프로세스

물리적 시스템을 분석하는 대신, 이 방법론은 AI 안전 파이프라인 자체를 분석 대상 시스템으로 취급합니다.

• 제어기(Controllers): LLM, 검증 레이어, 투표 하네스(voting harness), 내보내기 게이트(export gate), 그리고 대기 중인 엔지니어.
• 제어 동작(Control Actions): 손실/위험/UCA 생성, 오류 플래그 표시, 모델 간 불일치 보고, 보고서 내보내기.
• 도출(Derivation): 이러한 제어 동작들에 대해 4가지 UCA 유형을 따라가며, AI 도구에 특화된 위험(예: 로그가 남지 않은 LLM 호출, 조용한 버전 드리프트, 변조된 설명)을 식별합니다.
• 제약 조건 생성(Constraint Generation): 식별된 각 위험은 안전 제약 조건을 생성하며, 이는 거버넌스 헌법을 형성합니다.

2.2. 헌법 구조

도출된 헌법은 특정 코드 강제 지점에 결합된 29개의 원칙으로 구성됩니다:

• 21개 도구 원칙 (TP): 분석의 내용을 형성하는 행동 레이어 (예: 체계적 열거, 허위 사실 생성 금지, 측정 가능한 제약 조건).
• 8개 메타-안전 원칙 (MSP): 도구의 메커니즘을 관리하는 거버넌스 레이어 (예: 감사 로그, 실행 매니페스트, 모델 버전 고정, 의미론적 매칭 투표, 검증기 기반 내보내기).

2.3. 파이프라인 구현

도구는 시스템 기술($S$)과 헌법($C$)을 아티팩트($A$)로 매핑하는 5단계 파이프라인($\Pi$)으로 작동합니다:

1. LLM 생성: 손실, 위험 및 제어 구조에 대한 자유 형식 생성.
2. 결정론적 열거 (Deterministic Enumeration): 엔진은 모든 (제어기, 동작, UCA 유형) 트리플에 대해 고정된 슬롯을 생성합니다. LLM은 이를 구체적인 UCA 또는 명시적인 "해당 없음(N/A)" 근거로 채워야 합니다. 이는 모델의 성실도와 독립적으로 구조적 완결성을 보장합니다.
3. 제약 조건 생성: N/A가 아닌 UCA당 하나의 제약 조건 슬롯이 생성됩니다.
4. 검증 (Validation): 8개의 결정론적 정규 표현식/구조 검증기가 완결성, 모호한 언어, 과도한 자신감, 증거 누락 여부를 확인합니다.
5. 게이팅 (Gating): 검증 오류가 존재할 경우, 엔지니어가 기록된 오버라이드를 제공하지 않는 한 배포 가능한 아티팩트(PDF, 이메일 등)를 차단하는 "검증기 기반 내보내기(Validator-Gated Export, MSP-07)"가 작동합니다.

2.4. 재현성 및 감사

• 매니페스트 (Manifests): 모든 실행은 도구 버전, 모델, 시드, 온도, 그리고 시스템 기술 및 헌법의 SHA-256 해시를 고정하는 run manifest.json을 생성합니다.
• 감사 로그 (Audit Logs): 모든 LLM 호출은 프롬프트/응답 SHA-256 해시, 토큰 수, 지연 시간과 함께 기록됩니다.
• 의미론적 투표 (Semantic Voting): 모델 간의 불일치를 처리하기 위해, 엄격한 ID 일치 대신 토큰-자카드 유사도 매처(threshold $\tau=0.4$)를 사용하여 동의어 처리를 허용하면서도 결정론성을 유지합니다.

3. 주요 기여

1. 메타-STPA 방법론: 도구 자체에 STPA를 적용하여 도구의 거버넌스 헌법을 도출하는 방법론을 제시하며, 결과로서 29개 원칙의 헌법을 발표함.
2. 제어된 행동 평가: 헌법적 레이어의 영향을 격리하여 실험함으로써, 작업 특화형 도구 원칙(Tool Principles)은 안전 행동을 유의미하게 개선하는 반면, 일반적인 "도움이 되고 무해한" 서문은 효과가 없음을 입증함.
3. 커버리지 프레임십: "헌법-한계 커버리지(constitution-marginal coverage)"에 대한 공식적 정의와 건전성 보조정리를 보고함. 논문은 렉시컬 커버리지가 고정된 시스템에 대해 헌법 강도에 따라 단조 증가하지 않으며(negative result), 오히려 시스템 식별자(AI 도구와 하드웨어를 구분함)로 작용함을 보고함.
4. 완전한 재현성 아티팩트: 단일 명령줄에서 모든 결과를 재현할 수 있도록 코드, 헌법, 매니페스트 및 시딩된 호출을 공개함.

4. 실험 결과

4.1. 자기 도출 (도구가 스스로를 분석할 수 있는가?)

• 강력한 프런티어 모델: claude-opus-4.8과 claude-sonnet-4의 투표 앙상블은 21개 중 18개의 정형 도구 원칙과 8개 중 8개의 모든 메타-안전 원칙을 복구함.
• 약한 모델: 약한 쌍(gpt-4o-mini + gpt-4o)은 21개 중 12개, 8개 중 3개의 메타 원칙만을 복구함.
• 결론: 메타 레이어는 헌법이 아닌 모델 성능에 의해 제한됨. 즉, 원칙들은 단순히 주장되는 것이 아니라 유능한 모델에 의해 설계로부터 복구 가능하다.
• 일반화: 독립적으로 작성된 두 번째 AI 도구(코드 리뷰 어시스턴트)에 적용했을 때, 강력한 앙상블은 8개 중 8개의 거버넌스 원칙을 모두 복구하였으며, 이는 이 원칙들이 특정 도구의 설계 산물이 아니라 AI 도구 클래스의 속성임을 확인시켜 줌.

4.2. 행동적 영향 (헌법이 행동을 변화시키는가?)

• 설정: 5가지 헌법 변체(없음, 일반적, 도구 원칙, 도구+일반적, 전체)를 대상으로 20개의 적대적 프로브를 테스트함.
• 결과:
  • **도구 원칙(cv2)**을 추가했을 때 평균 안전 점수가 1.03에서 1.85로 상승함 (+79%, $p<0.001$, $d=1.29$).
  • 일반적인 "도움이 되고 무해한" 서문(cv1)은 헌법이 없는 경우와 비교해 유의미한 개선을 보이지 않음.
  • **메타-안전 원칙(MSP)**을 도구 원칙에 추가하더라도 단일 턴 적대적 점수는 더 이상 개선되지 않았는데, 이는 MSP가 텍스트 생성이 아닌 분석 시점의 메커니즘(로깅, 게이팅)을 관리하기 때문임.

4.3. 커버리지 및 구성 타당성

• 비단조성 (Non-Monotonicity): 고정된 시스템에서 헌법 강도를 높인다고 해서 렉시컬 메타-커버리지가 선형적으로 증가하지 않음. 실제로 빈 제어(cv0) 상태가 더 많은 메타-위험을 드러내는 경우가 있는데, 이는 이러한 위험들이 AI 도구의 구조에 내재되어 있기 때문임.
• 시스템 식별 (System Discrimination): 메타-커버리지는 하드웨어 시스템(AEB, 주입 펌프, UAV)에 대해서는 0/8이었으나, AI 셀프-시스템에 대해서는 6/8로 나타남. 이는 커버리지가 극대화해야 할 '투여량(dose)' 지표가 아니라, AI 도구와 하드웨어를 구분하는 식별자임을 확인시켜 줌.
• 재현성: 고정된 시드 하에서, 도구는 벤더 간에 높은 안정성을 보임 (gemini-2.5-flash는 정확히 재현 가능했으나, claude-sonnet-4는 낮은 변동성을 보임).

5. 의의 및 주장

본 논문은 분석가가 스스로를 분석할 수 있음을 보여줌으로써 "분석가를 누가 분석하는가?"라는 질문에 답한다고 주장합니다.

• 근거 있는 헌법: 거버넌스 원칙은 수기로 작성된 주장이 아니라, STPA를 통해 도구의 설계로부터 도출된 것입니다.
• 운영 안전성: 헌법은 단순한 프롬프트 지시가 아니라 코드(검증기, 게이팅, 매니페스트)를 통해 강제됩니다.
• 모델 능력의 병목 현상: 거버넌스 원칙을 복구하는 능력은 헌법의 문구(wording)가 아니라 기반이 되는 LLM의 능력에 달려 있습니다.
• 투명성: 저자들은 초기 탐색적 결과(커버리지의 단조 증가)를 재현하는 데 실패했음을 솔직히 보고하며, 커버리지 지표를 '투여량-반응 곡선'이 아닌 '시스템 식별자'로 재정의했습니다.

결론적으로, LLM 지원 안전 도구가 신뢰받기 위해서는 작업 특화된 행동 레이어(도구 원칙)와 거버넌스 기질(메타-안전 원칙)이 포함되어야 하며, 이들은 도구의 실행 흐름 내에 하드코딩되어 도구 자체의 안전 제약 조건이 감사 가능하고 강제될 수 있도록 보장되어야 합니다.