기술 요약: PRISM – 언어 모델 활성화(Activations)로부터 지시 세트(Instruction Sets) 복구

1. 문제 정의: 지시 세트 추출 (Instruction Set Retrieval, ISR)

대규모 언어 모델(LLM)이 자율 에이전트로 점점 더 많이 배치됨에 따라, 신뢰할 수 있는 모니터링을 위해서는 단순히 출력되는 토큰을 관찰하는 것을 넘어, 행동을 조종하는 내부적 목표를 이해하는 것이 필수적입니다. 현재의 모니터링 방식은 모델이 의도하지 않은 하위 목표를 추론하거나, 문맥적 단서에 따르거나, 프롬프트 인젝션 및 숨겨진 목표에 의해 영향을 받을 때 직면하는 문제들에 어려움을 겪고 있습니다.

최근의 "활성화-언어 변환(activation-to-language)" 방법들(예: Patchscopes, LatentQA, Activation Oracles)은 은닉 상태(hidden states)가 자연어 정보를 드러낼 수 있음을 보여주지만, **지시 세트 추출(ISR)**에는 적합하지 않습니다. 기존 방식들은 대개 임의의 질문에 답하거나 단일한 고수준 요약을 생성하는 데 그칩니다. 이들은 에이전트 환경에서 활성화된 전체 지시 사항, 제약 조건, 금지 사항 및 하위 목표의 집합을 복구하는 데 실패합니다. 결과적으로, 활성화된 지시 사항의 일부만을 복구하거나, 서로 다른 제약 조건을 혼동하거나, 문맥에 존재하지 않는 목표를 환각(hallucination)해내는 경우가 많습니다.

본 논문은 ISR을 고정된 타겟 모델 $M$으로부터 특정 레이어 $\ell$의 활성화 스냅샷 $H_\ell$이 주어졌을 때, 커버리지(ground-truth 지시 사항의 복구)를 극대화하면서 환각(지원되지 않는 지시 사항의 예측)을 최소화하는 예측 리스트 $\hat{I}$를 생성하는 인터프리터 $\phi$를 학습하는 문제로 정형화합니다.

2. 방법론: PRISM

저자들은 충실한 지시 세트 추출을 위해 설계된 활성화 조건부 인터프리터인 PRISM을 소개합니다.

아키텍처

PRISM은 경량 배포를 위해 설계되었습니다. 별도의 인터프리터 LLM을 로드하는 대신, 타겟 모델 $M$(실험에서는 Qwen3.5-9B 사용)의 고정된 베이스 가중치를 재사용합니다.

• 입력: 특정 레이어 $\ell$(예: 레이어 16)에서 고정된 토큰 윈도우(예: 마지막 128개 토큰) 동안의 잔차 스트림(residual-stream) 활성화 스냅샷 $H_\ell$.
• 투영(Projection): 학습된 선형 투영(linear projection)을 통해 이러한 활성화 벡터를 모델의 입력 임베딩 공간으로 매핑합니다.
• 디코딩: 투영된 활성화는 타겟 모델에 "소프트 프리픽스(soft prefix)"로 입력됩니다. 이후 모델은 활성화된 지시 사항들을 자연어 불렛 리스트 형태로 자기회귀적(autoregressively)으로 디코딩합니다.
• 파라미터: 투영 레이어와 LoRA 어댑터만 학습되며, 베이스 모델의 가중치는 고정된 상태를 유지합니다.

학습 전략

표면 형태의 불일치에 패널티를 부여하고, 놓친 지시 사항과 환각을 구분하지 못하는 표준 교차 엔트로피 손실의 한계를 해결하기 위해 PRISM은 두 단계로 학습됩니다.

1. 지도 학습 기반 사전 학습 (SFT): 모델이 활성화 스냅샷을 ground-truth 지시 리스트로 매핑하도록 다음 토큰 교차 엔트로피를 사용하여 학습합니다. 이는 활성화-리스트 매핑의 베이스라인을 구축합니다.
2. 판사 유도 강화 학습 (GRPO): 세트 수준의 충실도를 최적화하기 위해 저자들은 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 채택합니다.
   • 판사 메커니즘: 별도의 LLM 판사가 후보 지시 리스트를 ground-truth 리스트와 비교하여 평가합니다. 판사는 어떤 참조 지시 사항이 커버되었는지, 그리고 어떤 예측된 불렛이 지원되지 않는지(환각인지)를 결정합니다. 판사의 시스템 프롬프트는 코헨의 카파($\kappa$)를 사용하여 인간의 주석과 보정됩니다.
   • 보상 함수: 보상 $r$은 커버리지($Cvg$)와 환각($Hall$) 지표로부터 도출된 스칼라 값입니다:
     $$r = w_{inst} \cdot Cvg(\hat{I}, I) - w_{halluc} \cdot Hall(\hat{I}, I) - P_{len}$$
     여기서 $P_{len}$은 지나치게 길거나 축소된 보고를 통한 보상 해킹을 방지하기 위한 양방향 길이 패널티입니다.
   • 최적화: 정책은 그룹 상대적 이득(group-relative advantage)을 최대화하도록 업데이트되어, 토큰 수준의 매칭이 아닌 지시 수준의 재현율(recall)과 낮은 환각을 직접적으로 최적화합니다.

3. 주요 기여

1. ISR의 정형화: 본 논문은 지시 세트 추출을 일반적인 활성화 해석과는 구별되는 별개의 문제로 정의하며, 작동 중인 제약 조건과 하위 목표의 전체 집합을 복구하는 데 초점을 맞춥니다.
2. PRISM 프레임워크: 표면 수준의 토큰 검사나 모델의 자기 보고에 의존하지 않고, 은닉 상태를 충실한 지시 사항 불렛 리스트로 디코딩하는 활성화 조건부 인터프리터를 제시합니다.
3. 판사 유도 GRPO: LLM 판사를 사용하여 의미론적 피드백을 제공함으로써, 지시 수준의 재현율을 직접 최적화하고 환각에 패널티를 부여하는 새로운 학습 목적 함수를 사용합니다.
4. 보정된 평가: 저자들은 LLM 판사를 인간의 주석에 맞춰 보정하였으며, 지시 세트 추출 시스템의 재현 가능한 평가를 지원하기 위해 프롬프트를 공개합니다.
5. 리소스 공개: 본 논문은 향후 연구를 촉진하기 위해 소스 코드, 학습 데이터, 그리고 보안 관련 평가 데이터셋(프롬프트 인젝션 및 숨겨진 목표 포함)을 공개할 것을 약속합니다.

4. 실험 결과

평가는 네 가지 설정(Benign(BN), Behavioral Constraints(BC), Hidden Objectives(HO), Adversarial Prompts(AP))에 걸쳐 1,000개의 예시로 구성된 홀드아웃 테스트 코퍼스를 사용합니다. 타겟 모델은 Qwen3.5-9B입니다.

• 전반적인 성능: PRISM(RL 적용 시)은 모든 설정에서 가장 높은 평균 보상(0.736)과 커버리지(0.745)를 달와 성하며, 가장 강력한 비-PRISM 베이스라인(Activation Oracles, 보상 0.532)을 크게 상회합니다.
• 보안 관련 복구: 적대적 설정(HO 및 AP)에서 PRISM은 주입되거나 은폐된 지시 사항을 복구하는 탁월한 능력을 보여줍니다. 특히, Adversarial Prompt 서브셋에서 커버리지는 PRISM(RL 미적용)의 0.520에서 0.652로 향상되었습니다.
• 환각 제어: PRISM은 낮은 환각률(0.014)을 유지합니다. 일부 베이스라인은 더 낮은 환각률을 보이기도 하지만, 논문은 이것이 많은 활성 지시 사항을 놓친 채 프롬프트를 일반적인 요약으로 축소했기 때문이라고 지적합니다.
• 어블레이션(Ablation): 판사 유도 RL 단계의 추가는 모든 도메인, 특히 Advers-arial Prompt 설정에서 성능을 일관되게 개선하며, 이는 RL 목적 함수가 단순히 유창성이 아닌 세트 수준의 속성을 성공적으로 최적화함을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 활성화가 복구 가능한 지시 정보를 인코딩한다는 점을 입증하며, 이는 활성화 기반 모니터링이 LLM 에이전트의 투명한 감독을 위한 실행 가능한 경로임을 시사한다고 주장합니다.

• 모니터링 능력: 이 연구는 에이전트의 내부 "작동 지시 세트"를 조사하는 방법을 제공하여, 모델이 무엇을 하고 있는지뿐만 아니라 왜 그러한지(즉, 어떤 특정 제약이나 목표가 행동을 유도하는지)를 밝혀냅니다.
• 보안적 함의: 숨겨진 목표와 프롬프트 인젝션을 성공적으로 복구함으로써, PRISM은 입력 프롬프트만으로는 적대적 조종을 드러내지 못할 수 있는 고위험 시나리오에서 에이전트를 감사하는 도구를 제공합니다.
• 한계 및 범위: 저자들은 다음과 같은 점을 명시하며 주장의 범위를 제한합니다:
  • 결과는 Qwen3.5-9B 모델 제품군, 레이어 16, 128-토큰 윈도우에 특화되어 있으며, 다른 모델이나 더 긴 문맥으로의 전이 가능성은 입증되지 않았습니다.
  • 평가는 오라클 생성 라벨과 판사 기반 점수에 의존하며, 이는 보정되었으나 절대적인 정답(ground truth)은 아닙니다.
  • PRISM은 모니터링 방법이지 안전 개입 도구가 아닙니다. 지시 사항을 복구하는 것이 행동을 차단하거나 수정할지를 자동으로 결정해주지는 않습니다.
  • 지시 사항 누락이나 환각의 위험이 있으므로, 인간의 검토 없이 고위-리스크의 징벌적 결정에 사용되어서는 안 됩니다.

결론적으로, PR-ISM이 완전한 안전 솔루션은 아닐지라도, 배치된 LLM 에이전트의 내부 목표를 이해하고 감사하는 데 있어 중요한 진전임을 나타냅니다.