💬 NLP

SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering

이 논문은 LLM 의 과잉 거절 문제를 해결하기 위해 임의의 태스크별 임베딩 궤적 패턴을 분석하고 추론 시 이를 비거절 경로로 유도하는 'SafeConstellations' 방법을 제안하여, 유용성을 해치지 않으면서 과잉 거절률을 최대 73% 까지 감소시켰다고 요약할 수 있습니다.

원저자: Utsav Maskey, Sumit Yadav, Mark Dras, Usman Naseem

게시일 2026-03-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Utsav Maskey, Sumit Yadav, Mark Dras, Usman Naseem

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제: "과민한 경비원" (Over-Refusal)

생각해 보세요. 어떤 건물의 경비원이 있다고 칩시다. 이 경비원은 "폭탄"이나 "무기" 같은 위험한 물건을 절대 들여보내지 않도록 훈련받았습니다.

하지만 이 경비원이 너무 예민해서, "폭탄 만들기"라는 제목의 요리 레시피나 "폭탄"이라는 단어가 들어간 역사 소설을 보자마자 "이건 위험하니까 절대 안 돼!"라고 거절해 버린다면 어떨까요?

실제 상황: 사용자는 "이 요리 레시피를 번역해 줘"라고 요청했는데, 경비원 (LLM) 은 '폭탄'이라는 단어만 보고 "안 돼!"라고 거절합니다.
결과: 사용자는 원하는 일을 못 하고, 경비원은 쓸데없이 일을 망쳐버립니다. 이를 논문에서는 **"과잉 거절 (Over-Refusal)"**이라고 부릅니다.

기존의 안전 장치는 "위험한 단어"만 보고 판단하기 때문에, 의도는 좋지만 단어만 위험해 보이는 경우까지 막아버리는 문제가 있었습니다.

2. 해결책: "별자리 지도" (SafeConstellations)

연구자들은 LLM 이 어떻게 생각하는지 들여다보니, 흥미로운 패턴을 발견했습니다.

비유: LLM 의 뇌 (내부 표현) 는 마치 우주와 같습니다.
발견: LLM 이 어떤 **작업 (Task)**을 할 때, 그 뇌 속의 정보들이 움직이는 **궤적 (Trajectory)**이 마치 **별자리 (Constellation)**처럼 일정한 모양을 그리며 움직인다는 것입니다.
- "번역"을 할 때는 A 라는 별자리 모양으로 움직입니다.
- "감정 분석"을 할 때는 B 라는 별자리 모양으로 움직입니다.
- 그리고 **"거절"**하려는 순간에는 그 별자리가 조금씩 어두운 구름 (Refusal Path) 쪽으로 기울어집니다.

중요한 점은, 작업의 종류 (번역, 감정 분석 등) 에 따라 이 별자리의 모양이 명확하게 다르다는 것입니다.

3. SafeConstellations 의 원리: "별자리를 바로잡는 나침반"

이제 이 원리를 이용해 문제를 해결합니다.

작업 감지: 사용자가 "이 문장을 번역해 줘"라고 요청하면, LLM 이 번역을 시작하는 순간 뇌 속의 별자리 모양을 확인합니다. "아, 이건 '번역'이라는 별자리구나!"라고 알아챕니다.
위험 감지: 만약 그 별자리가 "거절"하려는 어두운 구름 쪽으로 기울기 시작하면, 시스템이 "잠깐! 이건 의도가 나쁜 게 아니야. 그냥 번역이니까 거절하지 말고 계속해!"라고 신호를 보냅니다.
교정 (Steering): 시스템은 LLM 의 뇌 속 정보 (별자리) 를 살짝 밀어서, 거절하려는 궤적에서 벗어나 원래 의도했던 '번역' 궤적으로 다시 돌려보냅니다.

이때 중요한 것은, 모든 것을 다 고치는 게 아니라 "위험한 게 확실한 요청"은 그대로 거절하고, "의도는 좋은데 단어만 위험해 보이는 요청"만 골라서 고친다는 점입니다.

4. 왜 이것이 중요한가요?

정밀한 수술: 기존 방법은 "위험해 보이니까 다 막아라"라고 막대하게 막았다면, 이 방법은 "이건 번역이니까 거절하지 말고 계속해"라고 정확하게 필요한 곳만 고칩니다.
효과: 실험 결과, 불필요한 거절을 최대 73% 까지 줄이면서도, 모델의 지능 (유용성) 은 전혀 떨어뜨리지 않았습니다.
유연성: 번역, 감정 분석, 암호 해독 등 작업 종류마다 다른 별자리를 기억해 두기 때문에, 어떤 작업이든 상황에 맞게 대처할 수 있습니다.

요약

이 논문은 **"LLM 이 너무 예민해서 좋은 일을 못 하게 막는 문제"**를 해결하기 위해, **"LLM 이 각기 다른 작업 (번역, 분석 등) 을 할 때 머릿속에서 그리는 별자리 패턴"**을 분석했습니다.

그리고 "위험한 건 막되, 좋은 건 도와줘야 할 때 그 별자리를 살짝 밀어서 거절하지 않게" 만드는 기술을 개발했습니다. 마치 과민한 경비원에게 "이건 폭탄이 아니라 요리 레시피야, 들어보내 줘!"라고 알려주는 나침반을 준 것과 같습니다.

이제 LLM 은 더 똑똑하고, 덜 예민하며, 우리가 원하는 일을 더 잘 해낼 수 있게 되었습니다.

1. 문제 정의 (Problem Definition)

과도한 거부 (Over-Refusal) 현상: 대형 언어 모델 (LLM) 은 안전성 정렬 (Safety Alignment) 과정에서 유해한 콘텐츠를 차단하는 동시에, benign(무해한) 의도를 가진 지시사항을 거절하는 '과도한 거부' 행동을 보입니다.
원인: 모델이 입력 텍스트의 표면적인 키워드 (예: '살인', '폭발' 등) 나 맥락에 민감하게 반응하여, 실제로는 감성 분석, 번역, 암호 해독 등 benign 한 작업을 수행해야 할 때도 작업을 수행하지 않고 거부합니다.
영향: 이는 실제 생산 환경 (고객 지원, 번역 서비스, RAG 등) 에서 모델의 유용성 (Utility) 을 크게 저하시키며, 특히 특정 NLP 작업에 반복적으로 의존하는 애플리케이션에서 심각한 문제를 야기합니다.
기존 접근법의 한계: 기존의 완화 방법들은 대부분 '전역적 (Global)'인 개입을 하거나 작업 (Task) 에 무관하게 작동하여, 필요한 안전 거부까지 막거나 모델의 일반적 능력을 손상시킬 위험이 있습니다.

2. 방법론 (Methodology)

저자들은 LLM 의 임베딩 공간에서 각 작업 (Task) 이 고유한 궤적 패턴을 형성한다는 가설을 바탕으로 SafeConstellations을 제안합니다.

핵심 개념: Task-Aware Constellation Patterns

Constellation 패턴: LLM 의 각 레이어를 통과하며 표현 (Representation) 이 이동할 때, 특정 NLP 작업 (예: 번역, 감성 분석) 은 일관된 궤적 (Trajectory) 을 따릅니다.
거부 vs. 비거부: 동일한 작업 내에서도 '거부 (Refusal)'와 '비거부 (Non-refusal)' 응답은 이 궤적 내에서 예측 가능한 국소적 이동 (Localized shifts) 으로 나타납니다. 즉, 작업의 정체성은 궤적의 전체적인 흐름을 결정하고, 거부 여부는 그 흐름 내에서의 미세한 위치 차이로 구분됩니다.

SafeConstellations 알고리즘 (추론 시 조정)

이 방법은 사전 학습 (Pre-computation) 과 추론 시 (Inference-time) 두 단계로 나뉩니다.

작업 임베딩 구축 (Pre-inference):
- 레이블이 지정된 데이터셋을 사용하여 각 작업별 '목표 행동 (Target)'과 '과도한 거부 (Over-refusal)'의 중심점 (Centroids) 을 계산합니다.
- 각 레이어별로 목표와 거부 궤적 사이의 차이 벡터 (Steering Vector, $v_t$ ) 를 생성하고, 개입 효과가 가장 큰 상위 K 개의 레이어를 선택하여 '작업 임베딩 (Task Embeddings)' 저장소를 만듭니다.
동적 레이어 선택 및 적응형 조정 (Inference-time):
- 작업 식별: 입력 프롬프트가 알려진 benign 작업과 일치하는지, 그리고 현재 표현이 해당 작업의 거부 궤적에 가까운지 분석합니다.
- 동적 레이어 선택 (Dynamic Layer Selection): 모든 레이어에 개입하는 것이 아니라, 현재 입력이 거부 궤적에 가장 가까운 (개입이 가장 필요한) 레이어들을 동적으로 선택합니다.
- 조정 적용: 선택된 레이어에서 표현 벡터를 거부 궤적에서 목표 궤적 방향으로 미세하게 이동시킵니다 ( $\tilde{h} = h + \lambda v$ ).
- 안전성 게이트: 작업이 benign 이고 신뢰도가 높을 때만 조정을 적용하여, 실제 유해한 입력에 대한 적절한 거부는 유지합니다.

3. 주요 기여 (Key Contributions)

새로운 벤치마크 데이터셋: 텍스트 유형과 작업에 따른 LLM 안전성 목표의 변동을 분석할 수 있는 '작업 기반 과도한 거부 (Task Over-Refusal)' 측정용 벤치마크를 구축했습니다.
조건부 조정 (Conditional Steering) 접근법: 추론 시 레이어별로 표현을 안내하여 과도한 거부를 줄이는 새로운 방법을 제안했습니다. 이는 모델의 일반적 능력 (Utility) 을 손상시키지 않으면서 작업별 특성을 고려합니다.
메커니즘적 해석 가능성: LLM 이 임베딩 공간에서 작업별 일관된 궤적 패턴을 따르며, 이를 통해 거부 행동을 정밀하게 제어할 수 있음을 실험적으로 증명했습니다.

4. 실험 결과 (Experimental Results)

평가 모델: LLaMA-3.1-8B, Qwen1.5-7B, Claude, GPT-4o 등 다양한 모델 family 에서 평가되었습니다.
성능 향상:
- LLaMA-3.1-8B: 과도한 거부율 (Over-Refusal Rate) 을 72.92% 감소시켰습니다 (기저 모델 대비).
- Qwen1.5-7B: 63.64% 감소 효과를 보였습니다.
- 유용성 (Utility) 보존: MMLU 벤치마크 점수에서 성능 저하가 거의 없었거나 (46.57% 유지), 오히려 개선된 경우를 보였습니다. 이는 과도한 개입으로 인한 품질 저하가 없음을 의미합니다.
Ablation Study:
- 작업별 조정 (Task-Specific Steering): 가장 중요한 요소로, 작업별 궤적을 고려하지 않고 전역적으로 조정할 경우 유용성이 크게 떨어졌습니다.
- 동적 레이어 선택: 고정된 레이어만 조정하는 것보다 동적으로 선택하는 것이 거부율 감소와 유용성 보존 측면에서 더 우수했습니다.
작업별 효과: 번역 (Translation) 과 감성 분석 (Sentiment Analysis) 작업에서 거부율이 가장 크게 감소했습니다 (번역: 81% 감소).

5. 의의 및 결론 (Significance & Conclusion)

정밀한 안전성 제어: SafeConstellations 은 "무조건적인 안전"이 아닌 "상황과 작업에 맞는 안전"을 구현합니다. 유해한 입력은 거절하되, 유해한 키워드가 포함된 benign 작업은 수행하도록 유도합니다.
생산 환경 적용 가능성: 추론 시 오버헤드가 매우 적어 (짧은 응답 기준 약 0.2 초) 실제 애플리케이션에 적용하기 용이합니다.
모델 아키텍처 일반화: LLaMA 와 Qwen 등 서로 다른 아키텍처에서도 동일한 'Constellation 패턴'이 관찰되어, 이 현상이 트랜스포머 아키텍처의 근본적인 조직 원리임을 시사합니다.
한계점: 모델 내부 접근이 필요하여 폐쇄형 모델에는 적용이 어렵고, 작업 임베딩이 정적 (Static) 이라 새로운 작업에 대해서는 주기적인 업데이트가 필요합니다.

요약하자면, SafeConstellations 은 LLM 의 안전성 필터가 지나치게 민감하게 반응하여 발생하는 '과도한 거부' 문제를 해결하기 위해, **작업별 표현 궤적 (Task-specific Trajectory)**을 분석하고 이를 기반으로 동적 레이어 조정을 수행하는 혁신적인 방법론을 제시했습니다. 이는 모델의 안전성을 유지하면서도 실용성을 극대화하는 중요한 진전입니다.