💬 NLP

Prism- $\Delta$ : Differential Subspace Steering for Prompt Highlighting in Large Language Models

이 논문은 LLM 이 생성 과정에서 사용자 지정 텍스트를 우선시하도록 유도하는 프롬프트 하이라이팅을 위해, 관련 및 비관련 컨텍스트 간의 차이를 극대화하고 공유 패턴을 제거하는 'PRISM- $\Delta$ '라는 새로운 차분적 서브스페이스 조향 방법을 제안하여 기존 방법보다 높은 성능과 낮은 유창성 비용을 달성했다고 요약할 수 있습니다.

원저자: Yuyao Ge, Shenghua Liu, Yiwei Wang, Tianyu Liu, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

게시일 2026-03-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuyao Ge, Shenghua Liu, Yiwei Wang, Tianyu Liu, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

PRISM-∆: AI 가 중요한 정보를 놓치지 않게 돕는 '초점 조절기'

이 논문은 거대 언어 모델 (LLM, 예: 챗봇) 이 방대한 정보를 처리할 때, 사용자가 강조한 특정 부분에 집중하도록 돕는 새로운 기술인 **PRISM-∆**를 소개합니다.

기존의 방법들은 마치 "눈을 어디에 둬야 하는지"만 지시하는 것과 같았다면, PRISM-∆는 "눈을 어디에 둬야 하는지"와 "무엇을 볼지"를 동시에 조절하여 훨씬 더 정확하고 자연스러운 답변을 만들어냅니다.

1. 문제 상황: "눈이 멀다"는 AI

상상해 보세요. 30 개의 문단으로 된 긴 글을 AI 에게 주고, "정답은 15 번째 문단에 숨어 있어"라고 알려줬습니다. 그런데 AI 는 그 문단을 무시하고 자기 머릿속에 있던 옛날 지식이나 글의 앞부분만 보고 엉뚱한 답을 내놓습니다. 이를 '중간 정보 소실 (Lost-in-the-Middle)' 현상이라고 합니다.

기존 기술들은 AI 의 '시선 (Attention)'을 강제로 그 문단으로 돌리려고 했습니다. 하지만 시선만 돌렸을 뿐, 그 문단의 **내용 (정보의 질)**까지 제대로 받아들이지 못해 답이 어색하거나 틀리는 경우가 많았습니다.

2. 해결책: PRISM-∆의 두 가지 핵심 아이디어

PRISM-∆는 AI 의 뇌 구조를 두 가지 채널로 나누어 생각했습니다.

① "어디를 볼까?" (라우팅 채널, Key)

비유: 카메라의 초점을 맞추는 것.
기존 방식: "저기 저 문단을 봐!"라고 소리치는 것.
PRISM-∆의 방식: "저기 저 문단이 중요해"라고 정확하게 초점을 맞춥니다.

② "무엇을 볼까?" (콘텐츠 채널, Value)

비유: 카메라 렌즈를 통해 들어오는 빛과 색감.
기존 방식의 문제: 초점은 맞췄는데, 렌즈가 흐릿하거나 색감이 왜곡되어 중요한 정보가 흐릿하게 전달됨.
PRISM-∆의 방식: 중요한 문단의 내용 자체를 선명하게 만들어줍니다.

3. PRISM-∆가 어떻게 작동할까? (창의적인 비유)

비유 1: 혼잡한 파티에서의 '소음 제거' (차분한 차이 분석)

파티장에 100 명이 모여 떠들고 있다고 상상해 보세요.

기존 방법: "소리를 크게 내!"라고 외치면, 중요한 말도 소음과 함께 커져서 오히려 들리기 어렵습니다.
PRISM-∆의 방법:
1. 비교: "중요한 말을 하는 상황 (H+)"과 "중요하지 않은 말을 하는 상황 (H-)"을 비교합니다.
2. 차이 추출: 두 상황의 **차이 (∆)**만 남깁니다. 공통된 소음 (파티의 배경음) 은 모두 제거하고, 오직 중요한 말만 선명하게 남깁니다.
3. 결과: AI 는 소음 없이 핵심 정보만 명확하게 들을 수 있게 됩니다.

비유 2: 오케스트라의 '지휘자' (부드러운 가중치)

오케스트라에 288 명의 악기 (Attention Head) 가 있다고 칩시다.

기존 방법 (SEKA 등): "중요한 악기만 소리 내, 나머지는 침묵!"이라고 강제로 지시합니다. (이진법: 켜짐/꺼짐)
- 문제: 아주 작지만 중요한 소리 (약하지만 유용한 악기) 도 꺼버려서 음악이 밋밋해집니다.
PRISM-∆의 방법: "중요한 악기는 크게, 약하지만 중요한 악기는 작게, 소음 악기는 아예 끄세요"라고 부드럽게 지시합니다.
- 효과: 모든 악기가 상황에 맞게 적절히 조율되어 훨씬 풍부하고 정확한 음악 (답변) 이 만들어집니다.

4. 왜 PRISM-∆가 더 좋은가요?

더 정확한 답변: 중요한 정보를 놓치지 않고, 그 정보의 내용까지 잘 전달합니다.
자연스러운 말투: 강제로 정보를 주입하면 AI 가 기계적으로 말하곤 하는데, PRISM-∆는 AI 가 원래 하던 말투를 유지하면서도 정확도를 높여줍니다. (유창성 비용 감소)
빠르고 가볍습니다:
- 기존 방법 중 일부는 AI 를 다시 훈련시키거나 메모리를 많이 잡아먹었습니다.
- PRISM-∆는 기존 AI 를 건드리지 않고, 실시간으로 '초점'과 '내용'만 살짝 조정합니다. 마치 사진 편집 프로그램에서 필터를 살짝 입히는 것처럼 가볍고 빠릅니다.

5. 요약: 한 문장으로 정리

PRISM-∆는 AI 가 긴 글을 읽을 때, 사용자가 강조한 부분의 '눈 (시선)'과 '귀 (내용)'를 동시에 맑게 해주는 기술로, 소음은 제거하고 중요한 정보만 선명하게 전달하여 더 똑똑하고 자연스러운 답변을 만들어냅니다.

이 기술은 의료 기록 분석, 긴 문서 요약, 복잡한 법률 문서 해석 등 방대한 정보 속에서 핵심을 찾아야 하는 모든 분야에서 AI 의 능력을 한 단계 업그레이드할 것으로 기대됩니다.

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 입력된 프롬프트 내에서 특정 토큰 시퀀스 (하이라이트된 텍스트) 에 주의를 집중하도록 유도해야 할 때, 종종 기존 파라미터적 기억이나 다른 문맥 정보에 의해 방해받습니다. 이를 프롬프트 하이라이팅 (Prompt Highlighting) 문제라고 합니다.

기존의 하이라이팅 방법들 (PASTA, SPA, SEKA 등) 은 주로 **라우팅 채널 (Routing Channel)**인 Key 벡터만을 조작하여 모델이 "어디를 (where)" 보아야 하는지 제어합니다. 그러나 Transformer 어텐션 메커니즘의 출력은 **콘텐츠 채널 (Content Channel)**인 Value 벡터에 의해 "무엇을 (what)" 전달할지도 결정됩니다. 기존 연구들은 Key 만을 조작하여 Value 채널이 가진 차별적인 신호 (discriminative signal) 를 활용하지 못했고, 이로 인해 생성의 정확도 향상과 유창성 (fluency) 저하 사이의 트레이드오프가 발생했습니다.

2. 방법론 (Methodology: PRISM-∆)

저자들은 **PRISM-∆(Projection-based Relevance-Informed Steering Method)**를 제안하여 Key 와 Value 두 채널을 모두 조작하고, 각 어텐션 헤드의 중요도를 적응적으로 조절합니다.

A. 차분적 교차 공분산 분해 (Differential Cross-Covariance Decomposition)

개념: 긍정적 (관련 질문), 부정적 (무관한 질문), 중립적 (문맥만) 조건에서 추출된 Key 와 Value 표현을 비교합니다.
공식: 단순한 공분산 ( $\Omega^+$ ) 이 아닌, 긍정과 부정의 차이를 취한 **차분 공분산 ( $\Omega_\Delta = \Omega^+ - \Omega^-$ )**을 계산합니다.
효과:
- 공유 방향 제거: 두 조건에서 공통적으로 나타나는 구조적 패턴 (공유 방향) 은 $\Omega_\Delta$ 에서 0 이 되어 제거됩니다.
- 차별적 에너지 극대화: 오직 하이라이트된 텍스트와 관련된 차별적인 방향만 추출됩니다.
- SVD 적용: $\Omega_\Delta$ 의 특이값 분해 (SVD) 를 통해 각 헤드의 서브스페이스 투영 행렬 ( $P$ ) 을 학습합니다.

B. 적응형 헤더 가중치 (Adaptive Head Weighting via Softplus)

문제: 모든 어텐션 헤드가 동일한 중요도를 갖지 않으며, 일부 헤드는 노이즈를 포함할 수 있습니다.
해결: 각 헤드의 차별성 점수 ( $D_{\ell,h}$ $D_{ℓ, h}$ ) 를 계산한 후, Softplus 함수를 사용하여 연속적인 가중치 ( $w_{\ell,h}$ $w_{ℓ, h}$ ) 로 매핑합니다.
- $w_{\ell,h} = \text{softplus}(D_{\ell,h} - \delta_{min})$
장점: 강한 신호를 가진 헤드는 강하게, 약하지만 유용한 헤드는 약하게, 노이즈가 많은 헤드는 거의 0 에 가깝게 가중치를 부여하여 유연한 조정이 가능합니다. 이는 기존 방법들의 이진 (binary) 임계값 방식보다 우월합니다.

C. 듀얼 채널 조향 (Dual-Channel Steering)

Key 채널: 모델이 주의를 기울일 위치를 제어합니다.
Value 채널: 해당 위치에서 전달되는 정보의 내용을 강화합니다.
조작: 추론 시 하이라이트된 토큰 $j$ $j$ 에 대해 Key 와 Value 벡터를 다음과 같이 수정합니다.
- $k'_j = k_j + g_K \cdot w^K_{\ell,h} \cdot P_K \cdot k_j$
- $v'_j = v_j + g_V \cdot w^V_{\ell,h} \cdot P_V \cdot v_j$
의미: Key 조작은 정확도 (Accuracy) 를 높이고, Value 조작은 생성의 유창성 (Fluency) 과 일관성을 유지하는 데 기여합니다.

3. 주요 기여 (Key Contributions)

차분적 서브스페이스 학습: 긍정/부정 데이터의 차이를 기반으로 공유된 구조적 노이즈를 제거하고, 순수한 차별적 방향을 추출하는 수학적 프레임워크를 도입했습니다.
연속적 헤더 가중치: Softplus 를 활용한 적응적 가중치 부여를 통해, 약하지만 유용한 헤드를 완전히 끄지 않고 적절히 활용함으로써 성능을 극대화했습니다.
듀얼 채널 확장: 기존 Key 중심의 방법을 넘어 Value 채널까지 함께 조작하여, 정확도 향상과 유창성 저하를 동시에 해결했습니다.
효율성: FlashAttention 과 호환되며, 메모리 오버헤드가 거의 없고 추론 지연 시간 (Latency) 증가가 미미합니다.

4. 실험 결과 (Results)

저자들은 4 개의 벤치마크 (BiasBios, CounterFact, Pronoun Change, Lost-in-the-Middle) 와 5 개의 모델 (Qwen3, Gemma3 시리즈) 에서 실험을 수행했습니다.

성능: 20 가지 구성 (모델 × 벤치마크) 중 19 가지에서 기존 최선 방법 (SEKA 등) 을 능가하거나 동급의 성능을 보였습니다.
- 상대적 향상: Pronoun Change 태스크에서 최대 **+10.6%**의 상대적 성능 향상을 기록했습니다.
- Long-context: 30 개의 패시지 중 중간에 정답이 있는 'Lost-in-the-Middle' 시나리오에서도 최대 **+4.8%**의 향상을 보였습니다.
유창성 (Fluency): SEKA 는 유창성 비용 (Fluency Cost) 이 0.957 이었던 반면, PRISM-∆는 0.504로 절반 수준으로 줄였습니다. Value 채널 조작이 생성 품질 유지에 핵심임을 입증했습니다.
효율성:
- SEKA 대비 약 0.3 초의 추가 지연 시간 (1.26 배) 만 발생하며, 메모리 사용량은 거의 증가하지 않았습니다.
- PASTA 나 SPA 와 같은 무거운 방법들에 비해 훨씬 경량화되어 있습니다.

5. 의의 및 결론 (Significance)

이론적 통찰: Transformer 의 Key(라우팅) 와 Value(콘텐츠) 채널이 서로 다른 층 (Layer) 에서 상보적인 신호를 가진다는 것을 발견했습니다. Key 는 중간 층에서, Value 는 후기 층에서 차별적 신호가 강하게 나타납니다.
실용적 가치: 프롬프트 하이라이팅 기술의 한계를 넘어, 모델이 특정 입력에 더 정확하게 반응하면서도 자연스러운 생성을 유지할 수 있는 새로운 표준을 제시했습니다.
확장성: FlashAttention 호환성과 낮은 오버헤드로 인해 실제 대규모 LLM 서비스 환경에 적용하기 용이합니다.

요약하자면, **PRISM-∆**는 단순한 주의를 유도하는 것을 넘어, 모델의 내부 표현 (Key/Value) 을 정교하게 분해하고 재구성하여 정확성과 유창성을 동시에 최적화하는 차세대 프롬프트 하이라이팅 기술입니다.