💬 NLP

Trust The Typical

이 논문은 보호를 유해한 학습 데이터 없이 안전한 프롬프트의 분포를 학습함으로써 이상치 탐지(out-of-distribution detection) 문제로 다루는 새로운 LLM 안전 프레임워크인 Trust The Typical (T3)을 소개하며, 이를 통해 다양한 위협과 언어에 걸쳐 최첨단 성능을 달성하는 동시에 낮은 추론 오버헤드를 유지한다.

원저자: Debargha Ganguly, Sreehari Sankar, Biyao Zhang, Vikash Singh, Kanan Gupta, Harshini Kavuru, Alan Luo, Weicong Chen, Warren Morningstar, Raghu Machiraju, Vipin Chaudhary

게시일 2026-02-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Debargha Ganguly, Sreehari Sankar, Biyao Zhang, Vikash Singh, Kanan Gupta, Harshini Kavuru, Alan Luo, Weicong Chen, Warren Morningstar, Raghu Machiraju, Vipin Chaudhary

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 그림자를 쫓지 말고, 빛을 이해하라

당신이 파티의 안전을 지키는 일을 맡았다고 상상해 보세요. 기존 방식은 특정 문신이 있거나, 특정 모자를 쓰고 있거나, 특정 문구를 말하는 사람처럼 '나쁜 놈'들의 목록을 거대하고 끊임없이 늘려가는 보안 요원을 고용하는 것입니다. 보안 요원이 본 적 없는 모자를 쓴 새로운 나쁜 놈이 나타날 때마다 그들은 몰래 잠입합니다. 보안 요원은 목록을 계속 업데이트해야 하지만, 나쁜 놈들은 항상 새로운 변장을 만들어내며 한 발 앞서 나갑니다.

이 논문의 저자들은 이러한 '쫓고 쫓기는' 게임이 실패했다고 주장합니다. 누군가가 나쁘게 행동할 수 있는 모든 방법을 암기하려고 노력하는 대신, 그들은 더 똑똑한 접근 방식을 제안합니다. 바로 '정상'이 어떤 모습인지 완벽하게 학습하여, 조금이라도 이상한 것이 보이면 즉시 눈에 띄게 만드는 것입니다.

그들은 이 새로운 시스템을 **T3 (Trust The Typical, 전형적인 것을 믿어라)**라고 부릅니다.

T3의 작동 원리: "군중" 비유

수백만 명의 사람들이 가득 찬 거대하고 투명한 방을 상상해 보세요.

안전한 사람들: 정상적이고 도움이 되는 사람들이 AI와 대화할 때, 그들의 단어들은 방 안의 특정하고 편안한 구석에 모여듭니다. 그들은 서로 가까이 서 있으며, 조밀하고 예측 가능한 군중을 형성합니다. 수학적으로 이것은 **"전형적 집합(Typical Set)"**이라고 불립니다.
나쁜 행위자들: 누군가 AI를 속이려고 할 때(탈옥 또는 유해한 프롬프트), 그들은 규칙을 우회하기 위해 특이한 말을 해야만 합니다. 몰래 침입하려 하기 때문에, 그들은 결국 군중에서 멀리 떨어진, 텅 비고 이상한 구석에 서 있게 됩니다.

T3는 나쁜 사람이 '무엇'을 말하는지에 관심을 두지 않습니다. 그저 그들이 어디에 서 있는지를 봅니다. 만약 당신이 안전한 군중 속에 서 있다면 괜찮습니다. 하지만 당신이 어두운 구석에 홀로 서 있다면, T3는 당신을 잠재적 위협으로 분류합니다.

이것이 왜 중요한가

이 논문은 T3가 다른 안전 도구들이 가진 세 가지 주요 문제를 해결한다고 주장합니다.

1. "현상 수배 포스터" 목록이 필요 없습니다

기존 방식: 지금까지 만들어진 모든 나쁜 문구의 목록이 필요합니다. 만약 나쁜 놈이 새로운 문구를 발명하면, 당신은 놓치게 됩니다.
T3 방식: 오직 '좋은' 문구의 목록만 있으면 됩니다. T3는 '좋음'이 무엇인지를 학습합니다. 만약 어떤 것이 '좋음'의 패턴에 맞지 않는다면, 그것은 차단됩니다. 이는 재학습 없이도 이전에 본 적 없는 새로운 유형의 공격을 잡아낼 수 있음을 의미합니다.

2. 선량한 사람을 범인으로 몰지 않습니다 (오탐지 방지)

문제점: 기존의 안전 도구들은 나쁜 놈을 놓칠까 봐 너무 겁을 먹은 나머지, 무고한 사람들을 차단하기도 합니다. 예를 들어, 당신이 약간 복잡한 의학적 질문을 하면, 기존 도구는 "이것은 위험한 요청처럼 들린다!"라고 판단하여 답변을 거부할 수 있습니다. 이를 '과잉 거부(over-refusal)'라고 합니다.
T3의 결과: 논문에 따르면 T3는 훨씬 더 정밀합니다. T3는 다른 도구들에 비해 오보(false alarms)를 최대 40배까지 줄였습니다. T3는 복잡하지만 안전한 질문과 정말로 위험한 질문의 차이를 이해합니다. 왜냐하면 안전한 언어의 '형태'를 이해하고 있기 때문입니다.

3. 어디서나 작동합니다 (번역이 필요 없음)

문제점: 보통 AI를 스페인어, 프랑스어, 또는 일본어로 안전하게 만들고 싶다면, 각 언어에 맞는 새로운 안전 시스템을 통째로 훈련시켜야 합니다.
T3의 결과: 저자들은 T3를 영어의 안전한 텍스트로만 훈련시켰습니다. 놀랍게도, 추가 훈련 없이도 일본어나 아랍어를 포함한 14개 이상의 언어에서 완벽하게 작동했습니다. "나쁜" 언어는 어떤 언어로 말하든 비슷한 방식으로 이상하게 보인다는 점을 시사합니다.

"속도 테스트": 속도를 늦추지 않습니다

안전 도구에 대한 가장 큰 우려 중 하나는 그것이 AI를 느리게 만든다는 것입니다. 자동차의 보안 요원이 승객 한 명 한 명을 모두 검사한 후에야 차를 출발시키는 상황을 상상해 보세요.

저자들은 T3를 많은 AI 시스템의 엔진 역할을 하는 vLLM에 직접 통합했습니다. 그들은 T3가 AI가 단어를 타이핑하는 동안에도 안전성을 확인할 수 있다는 것을 발견했습니다.

결과: 이 과정에 추가되는 시간은 6% 미만입니다.
비유: 이는 운전자가 차를 멈추거나 크게 느려지게 하지 않도록, 운전자 옆에서 실시간으로 도로 상황을 체크하며 함께 달리는 보안 요원과 같습니다.

이 논문이 말하지 않는 것 (중요한 한계점)

논문은 T3가 어려움을 겪을 수 있는 부분에 대해서도 솔직하게 밝히고 있습니다:

"회색 지대" 문제: 만약 "안전한" 훈련 데이터 자체에 일부 나쁜 단어가 포함되어 있다면 (예: 욕설이 포함되어 있지만 맥락상 여전히 "안전한" 논쟁 데이터), T3는 혼란을 느낄 수 있습니다. T3는 훈련 데이터가 진정으로 "안전"하다는 것에 의존합니다. 훈련 데이터가 지저도 시스템도 지저분해집니다.
마법이 아닙니다: T3는 "안전함"과 "안전하지 않음" 사이에 명확한 경계가 있을 때 가장 잘 작동합니다. 만약 차이가 매우 미묘하다면 (예: 단어 하나가 문장을 도움되는 것에서 해로운 것으로 바꾸는 경우), 탐지가 더 어려울 수 있지만, 여전히 까다로운 "탈옥" 테스트에서 매우 좋은 성능을 보여주었습니다.

요약

**Trust The Typical (T3)**은 AI를 안전하게 지키는 새로운 방법입니다. AI가 할 수 있는 모든 나쁜 행동을 암기하는 대신, '좋음'이 무엇인지를 깊이 학습하여 무엇이 "이상하거나" "교활한" 것인지 즉시 알아차립니다. 이 시스템은 더 빠르고, 새로운 유형의 공격을 더 잘 잡아내며, 무고한 사용자에게 실수를 덜 저지르고, 추가 훈련 없이도 여러 언어에서 작동합니다.

기술 요약: Trust The Typical (T3)

문제 정의

현재의 대규모 언어 모델(LLM) 안전 패러다임은 근본적으로 반응적이며, 알려진 유해 콘텐츠 카테고리를 탐지하기 위해 명시적인 패턴 인식을 통해 훈련된 특화된 분류기에 의존합니다. 이러한 "고양이와 쥐" 식의 역학 관계는 내재적인 비대칭성을 만듭니다. 공격자는 안전 분류기의 훈련 분포 외부에 있는 새로운 프롬프트 구조를 발견하기만 하면 되는 반면, 방어자는 유해 패턴의 목록을 지속적으로 확장해야 합니다. 결과적으로, 강화 학습으로부터의 인간 피드백(RLHF)이나 컨스티튜셔널 AI(Constitutional AI)와 같은 정교한 정렬 기술도 훈련 분포를 벗어난 적대적 입력에 대한 견고성을 보장할 수 없습니다. 더욱이, 이러한 반응적 방법들은 높은 오탐율(과잉 거부)로 인해 유해하지 않지만 까다로운 프롬프트를 차단하는 문제를 겪으며, 광범위한 재학습 없이 다양한 도메인과 언어로 일반화되는 데 어려움을 겪습니다.

방법론: Trust The Typical (T3)

본 논문은 **Trust The Typical (T3)**을 소개하며, LLM 안전을 반응적인 패턴 매칭에서 전형성(typicality) 원리에 기반한 선제적인 통계적 모델링으로 재정의합니다. 정보 이론에서 유래한 T3는 합법적인 사용자 상호작용이 모델의 의미론적 표현 공간(즉, "전형적 집합(typical set)") 내의 집중된 영역을 점유하는 반면, 적대적 프롬프트는 설계상 취약점을 악용하기 위해 자연어 패턴에서 벗어나야 하며, 이는 분포 외(OOD) 지점으로 나타난다고 가정합니다.

핵심 메커니즘

T3는 유해한 사례에 대한 학습 없이도 안전한 언어 사용의 기하학적 구조를 학습하고 편차를 탐지함으로써 이 원칙을 실행합니다. 방법론은 다음과 같습니다:

다중 뷰 임베딩(Multi-View Embedding): 각 텍스트 샘플에 대해, T3는 세 개의 문장 트랜스포머(Qwen3-Embedding-0.6B, BGE-M3, E5-Large-v2)를 사용하여 단위 초구체(unit hypersphere) 상에서 정규화된 임베딩을 생성합니다.
PRDC 지표: 프레임워크는 테스트 분포와 참조 분포 사이의 관계를 포착하기 위해 샘플당 네 가지 기하학적 특징을 계산합니다:
- 정밀도(Precision): 테스트 포인트가 참조 집합의 $k$ -최근접 이웃 구(ball)의 합집합 내에 존재하는지 여부.
- 재현율(Recall): 참조 포인트들의 $k$ -최근접 이웃에 테스트 포인트가 포함되는 비율.
- 밀도(Density): 테스트 포인트를 $k$ -최근접 이웃 내에 포함하는 참조 포인트의 비율.
- 커버리지(Coverage): 테스트 포인트의 $k$ -최근접 이웃 내에 참조 포인트가 존재하는지 여부.
이론적 토대: 본 논문은 귀무 가설(내부 분포) 하에서의 이러한 지표들의 기대값을 설정하고, 부분적 지원 불일치(partial support mismatch), 밀도 변화, 국소적 섭동(local perturbations) 하에서 분포를 구별하는 일관성을 입증하는 엄격한 이론적 분석(정리 3.1 및 부록 A)을 제공합니다.
이상치 점수(Anomaly Scoring): 모든 인코더로부터 추출된 PRDC 지표는 하나의 표현으로 통합됩니다. 밀도 추정기(가우시안 혼합 모델 또는 단일 클래스 SVM)는 오직 안전한 내부 분포 데이터로부터 도출된 PRDC 지표만을 사용하여 훈련됩니다. 테스트 포인트의 이상치 점수는 이 적합된 모델 하에서의 음의 로그 가능도(negative log-likelihood)입니다.

구현 및 통합

제로샷 일반화(Zero-Shot Generalization): T3는 새로운 도메인이나 언어를 위한 재학습을 요구하지 않습니다. 일반 목적의 영어 안전 텍스트로 훈련된 단일 모델이 전문화된 도메인(예: 코드, HR) 및 14개 이상의 언어에 직접 적용됩니다.
프로덕션 통합: 저자들은 T3를 vLLM 추론 프레임워크에 통합했습니다. 추론이 워커 프로세스(Worker Processes)에서 진행되는 동안 메인 프로세스(Main Process)에서 출력을 가로챔으로써, T3는 토큰 생성 중에 지속적인 안전 모니터링을 가능하게 합니다. 이러한 공동 설계(co-design)를 통해 안전 계산을 추론 작업과 중첩시켜, 조밀한 평가 간격에서도 6% 미만의 오버헤드로 달성할 수 있습니다.

주요 기여

이론적 확장: 저자들은 Forte 프레임워크를 비전에서 텍스트로 확장하여, 일반적인 환경에서 분포 변화를 탐지하기 위한 per-point PRDC 지표의 엄격한 이론적 분석을 제공하고, 내부 분포 샘플에 대해 추가적인 가정 없이 기대값을 설정했습니다.
최첨단 성능: 18개의 벤치마크(독성, 혐오 표현, 탈옥, 다국어 유해성) 전반에 걸쳐 T3는 최첨단 AUROC를 달eric합니다. 결정적으로, T3는 특화된 안전 모델들에 비해 오탐율(FPR@95)을 10~40배 감소시킵니다. 예를 들어, OffensEval에서 T3-OCSVM은 최상의 베이스라인이 75.2%를 기록한 것에 비해 2.0%의 FPR@95를 달성했습니다.
강력한 일반화: T3는 별도의 재학습 없이 전문화된 도메인(코드 99.6% AUROC, HR 99.8%)으로 완벽에 가까운 전이를 보여주며, 14개 이상의 언어에서 2% 미만의 분산을 유지하며 일관된 성능을 유지합니다. 이는 도메인별 훈련이나 다국어 데이터 수집의 필요성을 제거합니다.
실시간 배포: vLLM 통합은 대규모 워크로드에서 6% 미만의 오버헤드로 지속적인 가드레일링을 가능하게 함으로써 프로덕션 준비성을 입증하였고, 이는 실시간 안전 모니터링을 지연 시간 페널티 없이 실용적으로 만듭니다.

결과

독성 및 혐오 표현: T3는 LlamaGuard, WildGuard, PolyGuard와 같은 베이스라인을 결정적으로 능가하며, 특히 오경보를 줄이는 데 탁-월합니다. 전통적인 OOD 방법들은 처참하게 실패한 반면(FPR@95 >90%), 특화된 모델들은 "정밀도 천장"에 부딪혔습니다.
적대적 공격 및 탈옥: T3는 안전한 데이터로만 훈련되었음에도 불구하고 새로운 공격(AdvBench, JailbreakBench)에 대해 강력한 방어를 제공하며, AdvBench에서 FPR@95를 15.8%로 낮추어(PolyGuard보다 4.2배 개선) 효과를 입증했습니다.
과잉 거부: OR-Bench에서 T3는 안전성과 유용성 사이의 우수한 균형을 달성합니다. T3-GMM은 과도한 과잉 거부를 보이는 특화 모델들을 크게 앞질러 22.2%의 FPR@95를 달성했습니다.
다국어 및 도메인 전이: T3는 재학습 없이 14개 이상의 언어와 다양한 도메인에서 높은 AUROC(>98%)와 낮은 분산을 유지하는 반면, 베이스라인들은 높은 언어적 분산과 열악한 일반화 성능을 보였습니다.
효율성: vLLM 통합에서 T3는 500-프롬프트 워크로드에서 1.5%, 5,000-프롬프트 워크로드에서 6%의 오버헤드만을 추가했습니다. 생성 후 평가에서 T3 실행 시간(60–155 ms)은 MDJudge나 LlamaGuard와 같은 무거운 평가기보다 현저히 빨랐습니다.

의의 및 주장

본 논문은 T3가 LLM 안전의 패러다임 전환을 나타낸다고 주장하며, 반응적인 위협 차단에서 전형성에 기반한 선제적인 접근 방식으로 이동합니다. "무엇이 해로운가"를 열거하는 대신 "무엇이 안전한가"를 모델링함으로써, T3는 현재 방어 체계의 근본적인 한계를 해결합니다:

선제성: 해로운 패턴의 철저한 목록에 의존하지 않고, 원칙적인 방어를 제공하여 새롭고 예측 불가능한 공격에 대비합니다.
효율성: 듀얼 모델 가능도(likelihood) 방법의 높은 비용과 합성 데이터 방식에 필요한 "OOD 오라클"의 필요성을 제거합니다.
실용성: vLLM에 성공적으로 통합되어 최소한의 오버헤드로 실시간 가드레일링이 가능하다는 것을 보여줌으로써, 프로덕션 환경에서 지속적인 안전 관리가 가능함을 입มา 증명했습니다.

저자들은 근본적인 경계 조건을 인정합니다: T3의 효과는 내부 분포 훈련 세트의 큐레이션에 달려 있습니다. 만약 "안전한" 훈련 데이터 자체에 유해한 패턴(예: RLHF 데이터셋 내의 독성 콘텐츠)이 포함되어 있다면, 전형적 집합이 그 해악을 포함하게 되어 탐지에 실패하게 됩니다. 그러나 안전한 콘텐츠와 해로운 콘텐츠가 분리 가능한 매니폴드(manifold)를 점유하는 시나리오에서, T3는 이론적으로 근거가 있고 효율적이며 매우 일반화 가능한 솔루션을 제공합니다.