💻 computer science

LatentGuard: Efficient and Inspectable Latent Reasoning for LLM Safeguards

LatentGuard는 작업에 정렬된 근거를 직접 예측을 위한 압축된 잠재 상태로 압축하는 동시에, 추론 비용에 영향을 주지 않으면서 온디맨드 감사 아티팩트를 생성하기 위해 보조 디코더를 활용함으로써 LLM 안전성 모더레이션을 개선하는 효율적이고 검사 가능한 보호 프레임워크이다.

원저자: Zhinan Liu, Jie Li, Mingyu Kang, Jiayi Ji

게시일 2026-08-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zhinan Liu, Jie Li, Mingyu Kang, Jiayi Ji

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 세계에서 가장 인기 있고 혼란스러운 클럽의 보안 요원이라고 상상해 보세요. 이 클럽은 이야기를 쓰고, 수학 문제를 풀고, 누구와도 대화할 수 있는 거대하고 똑똑한 로봇 뇌인 대규모 언어 모델(LLM)에 의해 운영됩니다. 하지만 화려한 파티에는 위험도 따르는 법입니다. 사람들이 위험한 아이디어를 몰래 들여오려 하거나, 개인적인 비밀을 묻거나, 로봇이 못된 말을 하도록 속이려 할 수도 있기 때문입니다. 파티를 안전하게 유지하기 위해, 당신은 보안 요원이 필요합니다.

오랫동안, 이 보안 요원들은 두 가지 방식으로 작동했습니다. 첫 번째는 "빠른 스캐너"였습니다. 이는 요청을 훑어보고 즉시 "안전!" 또는 "위험!"이라고 외쳤습니다. 매우 빨랐지만, 일종의 블랙박스와 같아서 왜 그런 결정을 내렸는지 알 수 없었습니다. 만약 당신이 "왜 저를 막았나요?"라고 물으면, 그저 어깨만 으쓱할 뿐이었습니다. 두 번째 방식은 "탐정"이었습니다. 이 보안 요원은 멈춰 서서 메모장을 꺼내고, 요청이 왜 위험한지에 대해 단계별로 긴 설명을 적은 뒤 결정을 내렸습니다. 이는 "왜"를 이해하는 데는 훌륭했지만, 느렸습니다. 모든 사람을 입구에서 세워두고 입장을 허가하기 전에 3페이지짜리 에세이를 쓰게 한다고 상상해 보세요. 줄은 엄청나게 길어질 것이고, 파티는 중단될 것입니다.

과학자들이 고민해 온 큰 질문은 이것입니다. 어떻게 하면 "탐정"처럼 설명할 수 있을 만큼 똑똑하면서도, "스캐너"처럼 빠르고, 사람들이 줄을 서서 기다리게 만들지 않을 수 있을까? 이것이 바로 LatentGuard라는 새로운 논문의 핵심이며, 이 논문은 보안 요원이 자신의 뇌 내부에서 "조용히" 생각을 수행하도록 가르쳐서 꼭 필요할 때만 자신의 생각을 드러내게 함으로써 이 문제를 해결하고자 합니다.

논문의 핵심 아이디어: 마법의 노트를 가진 침묵의 사색가

LatentGuard의 연구진은 "탐정" 스타일의 보안이 실제 환경에서 사용하기에는 너무 비용이 많이 든다는 점을 깨달았습니다. 사용자가 질문을 던질 때마다, 보안 요원은 단지 "아니오"라고 말하기 위해 수백 단어의 추론을 생성해야 했습니다. 이는 마치 단 하나의 음을 연주하기 위해 오케스트라 전체를 동원하는 것과 같았습니다.

그들의 해결책은 '생각하는 것'과 '말하는 것'을 분리하는 영리한 두 부분 시스템입니다.

1. 침묵의 뇌 (잠재적 추론 - Latent Reasoning)
글자(토큰)로 생각을 써 내려가는 대신, 새로운 보안 요인 LatentGuard는 자신의 추론을 "잠재 상태(latent states)"로 압축하는 법을 배웁니다. 이것은 비밀 코드나 압축 파일과 같습니다. 사용자가 질문을 하면, 보안 요는 긴 에세이를 쓰지 않습니다. 대신, 자신의 "숨겨진" 계층 내부에서 빠른 침묵의 계산을 실행합니다. 요청을 분석하고, 위험을 확인하고, 판결을 내리는 모든 힘든 작업을 수행하지만, 이를 긴 문장 대신 작고 보이지 않는 데이터 패킷을 사용하여 수행합니다.

논문은 이 방식이 보안 요인을 믿기 힘들 정도로 빠르게 만든다는 것을 보여줍니다. 테스트 결과, 기존의 "탐정" 보안 요(GuardReasoner-8B)는 결정을 내리기 위해 평균 268.56 단어의 추론을 생성해야 했습니다. 반면, 새로운 LatentGuard-8B는 단 1.60개의 침묵적이고 압축된 추론 단계만을 사용하여 동일한 작업을 수행했습니다. 이는 결정에 걸리는 시간을 약 0.792초에서 단 0.089초로 단축한 엄청난 속도 향상입니다.

2. 마법의 노트 (감사 디코더 - The Audit Decoder)
하지만 만약 당신이 보안 요사가 왜 "아니오"라고 했는지 꼭 알아야 한다면 어떻게 될까요? 예를 들어, 인간 감사관이 특정 결정에 대해 확인해야 할 수도 있습니다. 논문은 특별한 "감사 디코더"를 소개합니다. 이것은 누군가 구체적으로 설명을 요청할 때만 깨어나는 별도의 선택적 도구입니다.

여기 마법 같은 기술이 있습니다. 보안 요는 일반적인 체크인 과정 중에 설명을 작성하지 않습니다. 대신, 자신의 "침묵의 생각들(잠재 상태)"을 저장합니다. 만약 감사관이 "왜 이 사용자를 막았습니까?"라고 묻는다면, 마법의 노트는 그 침묵의 생각들과 원래의 질문을 가져와서, 추론에 대한 짧고 명확한 요약을 생성합니다. 이것은 마치 보안 요원이 사건에 대한 정신적 메모를 남겨두었다가, 관리자가 보고서를 요청할 때만 보고서를 작성하는 것과 같습니다. 이 방식은 메인 라인을 빠르게 유지하면서도, 필요할 때 깊이 있는 조사를 가능하게 합니다.

연구 결과

팀은 이 새로운 시스템을 기존의 "탐정" 보안 요 및 "빠른 스캐너" 보안 요와 비교 테스트했습니다. 수치가 시사하는 바는 다음과 같습니다.

더 똑똑하고 더 빠릅니다: LatentGuard는 단순히 빨라진 것이 아니라, 실제로 업무 능력이 향상되었습니다. "평균 가중 F1(mean weighted F1)" 점수(나쁜 것을 잡아내면서 좋은 것을 통과시키는 능력을 측정하는 지표)는 기존 모델의 83.95에서 LatentGuard-8B의 84.91로 상승했습니다. 이는 추론을 압축함으로써 보안 요사가 지능을 잃은 것이 아니라, 오히려 위험을 포착하는 데 더 효율적이 되었음을 시사합니다.
"마법의 노트"가 작동합니다: 선택적 감사 모드를 켰을 때, 시스템은 유용한 설명을 생성할 수 있었습니다. "감사 유틸리티 점수(Audit Utility Score, 설명이 얼마나 좋은지를 측정하는 지표)"는 85.75였습니다. 이는 시스템이 생성한 요약이 인간이 결정을 이해할 수 있을 만큼 정확했음을 의미하며, 침묵의 생각 속에 필요한 정보가 모두 담겨 있었음을 증명합니다.
난이도에 따라 적응합니다: 시스템은 언제 생각을 멈출지 스스로 판단할 수 있습니다. 쉬운 질문에는 한두 번의 침묵 단계만 사용할 수 있습니다. 까다롭고 위험한 질문에는 더 많은 단계를 사용합니다. 이 "적응형" 접근 방식은 단순한 요청에 시간을 낭비하지 않으면서도, 위험이 높은 상황에서는 더 깊이 파고듭니다.

명시하지 않은 사항

논문은 명시적인 한계점도 밝히고 있습니다. 저자들은 "마법의 노트"가 보안 요의 내부 뇌 과정을 단어 하나하나 그대로 옮겨 놓은 완벽한 전사본이 아니라는 점을 주의 깊게 지적합니다. 그것은 "압축된 감사 아티팩트(compact audit artifact)", 즉 요약본입니다. 그것은 결정 내용을 확인할 수 있는 유용한 도구로 설계된 것이지, 모든 뉴런의 움직임을 보여주는 마법의 창이 아닙니다.

또한, 결과는 매우 유망하지만, 논문은 이것이 최종적인 해결책이라기보다 하나의 "실용적인 경로"임을 시사합니다. 만약 (몇 개를 확인하는 것이 아니라) 모든 결정에 대해 설명이 필요하다면, 시스템은 여전히 추가적인 작업을 수행해야 하며 이는 속도를 늦출 것이라고 인정합니다. 하지만 속도가 핵심이고 설명이 가끔씩만 필요한 대다수의 경우, 이 접근 방식은 승리하는 균형점을 제시합니다.

요점

LatentGuard는 AI의 안전을 구축하는 새로운 방법, 즉 **"침묵 속에서 생각하고, 요청받았을 때만 말하라"**를 제안합니다. 무거운 생각을 압축된 보이지 않는 공간으로 옮김으로써, 보안 요는 순식간에 결정을 내릴 수 있습니다. 그리고 그 침묵의 생각을 인간의 언어로 번역할 준비가 된 별도의 도구를 갖춤으로써, 투명성을 위한 문을 열어둡니다. 이는 마치 즉각적으로 불량 이용자를 식별할 수 있으면서도, 관리자가 "왜 저 사람을 막았나요?"라고 물을 때 보고서를 즉시 작성할 수 있는 마법의 노트를 지닌 보안 요원을 두는 것과 같습니다. 이 모든 과정은 줄을 늦추지 않고 이루어집니다.

기술 요약: LatentGuard

문제 정의

대규모 언어 모델(LLM)의 안전 가드레일은 배포된 시스템에서 매우 중요하지만, 효율성, 중재 품질, 그리고 검사 가능성(inspectability) 사이의 근본적인 트레이드오프에 직면해 있습니다.

**분류 기반 가드(Classification-based guards)**는 효율적이지만, 개별 결정에 대한 검사를 위한 신호가 제한적일 수 있으며 추론 기반 접근 방식의 미세한 차이를 반영하지 못할 수 있습니다.
추론 기반 가드(Reasoning-based guards)(예: GuardReasoner)는 판결을 내리기 전 명시적인 사고 사슬(Chain-of-Thought, CoT) 근거를 생성함으로써 중재 품질과 설명력을 향상시킵니다. 그러나 이러한 설계는 모든 중재 호출마다 수백 개의 토큰을 생성하게 만들어, 고처리량의 실시간 배포에 부적합한 상당한 지연 시간과 계산 오버헤드를 초래합니다.

기존의 잠재 추론(latent-reasoning) 방식은 연속적인 은닉 상태(hidden states)로 추론을 압축하는 데 집중해 왔으나, 주로 정답의 정확성이 목표인 수학적 또는 논리적 작업에 국한되었습니다. 정책에 의존하고 종종 모호하며 사후 검사를 위한 인터페이스가 필요한 안전 중재 분야에서의 연구는 여전히 미진한 상태입니다.

방법론

본 논문은 연속적인 잠재 추推理(latent reasoning)를 가드 모델에 도입함으로써, 일상적인 안전 예측과 근거 생성(rationale generation)을 분리하는 프레임워크인 LatentGuard를 제안합니다. 이 아키텍처는 가드 모델( $G_\theta$ ), 잠재 프로젝터( $P_\phi$ ), 그리고 격리된 보조 감사 디코더( $D_\psi$ )라는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 단계별 잠재 추론 커리큘럼 (Staged Latent Reasoning Curriculum)

명시적인 텍스트 추론에서 연속적인 잠재 상태로 전환하기 위해, LatentGuard는 COCONUT에서 영감을 얻은 단계별 커리큘럼을 채택합니다. 훈련 과정은 텍스트 근거를 태스크에 정렬된 잠재 토큰으로 점진적으로 압축합니다.

태스크 분해: 안전 태스크를 세 가지 결합된 하위 태스크인 요청 유해성( $c_1$ ), 거부 탐지( $c_2$ ), 응답 유해성( $c_3$ )으로 분해합니다.
점진적 압축: 단계 $s$ (여기서 $s \in \{1, 2, 3\}$ )에서, 처음 $s$ 개의 추론 구성 요소는 잠재 토큰 시퀀스( $H_t$ )로 대체되는 반면, 나머지 구성 요소는 명시적인 텍스트로 유지됩니다.
훈련 목적 함수: 가드 모델은 잠재 상태와 남은 텍스트 토큰의 혼합 입력을 바탕으로 구조화된 안전 판결( $v$ )을 예측하도록 훈련됩니다. 손실(loss)은 잠재 위치를 제외한 이산 감독 토큰(남은 텍스트, 추론 종료 토큰, 판결)에 대해서만 계산됩니다.

2. 적응형 잠재 추론 (Adaptive Latent Inference)

표준 추론 중에 가드 모델은 명시적인 근거를 생성하지 않습니다. 대신, 모델은 적응형 잠재 추론을 수행합니다.

모델은 이전 은닉 상태가 다음 상태에 정보를 제공하는 피드백 메커니즘을 사용하여 잠재 상태 시퀀스 $(g_1, \dots, g_k)$ 를 생성합니다.
프로세스는 종료(end-of-reasoning) 토큰의 확률이 임계값( $\tau$ )을 초과하거나 최대 예산( $K_{max}$ )에 도달할 때 적응적으로 중단됩니다.
그 후 모델은 직접 구조화된 안전 판결을 출력합니다. 이는 핵심 경로의 추론 비용을 수백 개의 토큰에서 단 몇 번의 잠재 단계로 줄여줍니다.

3. 격리된 온디맨드 감사 디코더 (Isolated On-Demand Audit Decoder)

추론 효율성을 저해하지 않으면서 검사 가능성을 보존하기 위해, LatentGuard는 표준 추론 경로에 포함되지 않는 격리된 보조 디코더를 도입합니다.

온디맨드 활성화: 디코더는 감사가 명시적으로 요청될 때만 호출됩니다.
입력 컨디셔닝: 디코더는 가드로부터 투영된 잠재 상태(stop-gradient projector를 통해)와 소스 상호작용 텍스트(태스크 특화)를 입력으로 받습니다.
출력: 디코더는 요청 시 압축적이고 인간이 읽을 수 있는 감사 산출물(근거)을 생성합니다.
디커플링(Decoupling): 디코더는 가드의 잠재 상태에 대해 stop-gradient 연산을 사용하여 훈련되므로, 가드의 내부 추론 역학을 변경하지 않으며 잠재 추론의 효율성 이점을 보장합니다.

주요 기여

잠재 근거 압축의 정식화: 본 논문은 추론 기반 안전 중재를 태스크에 정렬된 잠재 근거 압축으로 정식화하고, 가드 모델이 추론을 연속적인 상태로 내재화하도록 하는 단계별 커리큘럼을 도입했습니다.
분리된 프레임워크: 일상적인 안전 예측과 근거 생성을 분리하는 안전 가드 프레임워크를 제안합니다. 일상적인 추론은 효율적인 잠재 추론을 사용하며, 격리된 디코더는 필요할 때만 검사 가능성을 제공합니다.
포괄적인 평가: 저자들은 모델 규모를 1B에서 8B 파라미터까지 확장하여 안전도, 추론 비용, 지연 시간 및 감사 유용성 측면에서 프레임워크를 평가하였으며, 유리한 효율성-효과성 트레이드오프를 입증했습니다.

실험 결과

평가는 GuardReasoner 벤치마크 스위트(ToxicChat, HarmBench, OpenAI Moderation 등 포함)를 사용하여 1B에서 8B 파라미터 범위의 모델을 대상으로 수행되었습니다.

중재 효과성: LatentGuard-8B는 평균 가중 F1 점수를 83.95(GuardReasoner-8B)에서 84.91로 향상시켜, 명시적 근거를 잠재 추론으로 교체해도 성능이 저하되지 않음을 입증했습니다.
효율성: LatentGuard는 핵심 경로 비용을 획기적으로 줄였습니다. 8B 모델의 경우, 평균 추론 예산이 268.56개의 명시적 CoT 토큰에서 1.60개의 잠재 추론 토큰으로 감소했습니다. 추론 지연 시간은 0.792초에서 0.089초로 감소했습니다 (8.9배 감소).
감사 유용성: 선택적 감사 디코더는 8B 모델에 대해 85.75의 감사 유용성 점수(AUS)를 달성했습니다. 어블레이션 연구(Ablation studies)를 통해 소스 텍스트 컨디셔닝과 투영된 잠재 상태가 모두 유용한 감사 산출물을 생성하는 데 필수적임을 확인했습니다.
적응형 중단: 실험을 통해 적응형 잠재 중단이 쉬운 사례에는 더 적은 단계를, 어려운 사례에는 더 많은 단계를 사용하게 하여 고정된, 잠재적으로 낭비적인 예산을 피할 수 있음을 확인했습니다.

의의 및 주장

본 논문은 LatentGuard가 효율적이고 검사 가능한 LLM 안전 가드웨이를 향한 실질적인 경로를 제공한다고 주장합니다. 추론을 연속적인 잠재 상태로 이동함으로써, 명시적 CoT 생성과 관련된 지연 시간 병목 현상을 해결합니다. 동시에, 격리된 감사 디코더를 유지함으로써 모든 상호작용에서 근거 생성을 강제하지 않고도 로깅, 검토 및 감사를 위한 심층적인 검사가 가능하도록 합니다.

저자들은 이 연구를 고빈도 중재 결정은 빠르고 가볍게 수행하면서도, 샘플 리뷰나 우선순위가 높은 케이스를 위해 깊이 있는 인간 가독형 검사 능력을 유지할 수 있는 확장 가능한 안전 시스템을 향한 단계로 포지셔닝합니다. 논문은 한계점으로, 감사 디코딩이 요청 시 여전히 계산 비용을 발생시킨다는 점과 현재의 평가가 텍스트에 국한되어 있어 향후 멀티모달 확장이 필요하다는 점을 언급했습니다.