기술 요약: 대규모 언어 모델에서 인식적 친숙도는 신념 안정성과 연관되어 있다

문제 정의

대규모 언어 모델(LLM)은 정보원으로 점점 더 많이 의존되고 있으나, 그 신뢰성은 취약합니다. 의미론적 가정이 미세하게 변하는 것만으로도 모델의 신념을 크게 불안정하게 만들 수 있기 때문입니다. 인간은 참(True), 거짓(False), 그리고 "둘 다 아님"(허구 또는 합성된 주장)을 구분하지만, LLM이 이러한 범주들을 내부 표현 공간에서 일관되게 조직화하는지, 혹은 이러한 조직화가 의미론적 재구성 하에서의 안정성을 예측할 수 있는지는 여전히 불분명합니다. 이러한 불안정성은 미세한 맥락의 변화가 환각(hallucination)에 기여할 수 있는 고위험 환경에서 특히 중대한 문제입니다.

기존 연구는 두 가지 별개의 방향에서 LLM의 진위 여부를 접근합니다. 하나는 **표현 프로빙(representational probing)**으로, 활성화 공간 내 진리의 기하학적 구조를 특징짓습니다. 다른 하나는 **행동적 강건성(behavioral robustness)**으로, 단어 선택이나 프레이밍의 변화가 출력을 어떻게 바꾸는지 조사합니다. 여기서 결정적인 격차가 존재합니다. 프로빙 연구는 표현 구조가 행동적 안정성을 예측하는지 거의 테스트하지 않으며, 강건성 평가 또한 섭동(perturbation)이 잠재적 표현과 어떻게 상호작용하는지 분석하지 않습니다. 또한, 기존 방법론들은 명확한 '거짓' 주장에 의존하는 경우가 많아, 실제 세계에서는 참도 거짓도 아닌 "둘 다 아님" 상태의 문장들이 갖는 뉘앙스를 포착하는 데 실패합니다.

방법론: P-StaT 프레임워크

저자들은 매칭된 의미론적 섭동 하에서 신념 안정성을 표현적 및 행동적 설정 모두에서 평가하기 위한 통합 프레임워크인 **P-StaT (Perturbation Stability of Truth)**를 도입합니다.

1. 친숙도(Familiarity)의 조작적 정의

핵심 혁신은 친숙한(Familiar) "둘 다 아님" 문장과 불친숙한(Unfamiliar) "둘 다 아님" 문장을 구분하는 것입니다.

• 친숙한 (허구적, Fictional): 사전 학습 데이터에 존재할 가능성이 높은 문화적으로 내재된 코퍼스(예: 문학, 미디어)에서 추출된 문장 (예: "비키니 Bottom 시는 태평양에 위치해 있다").
• 불친숙한 (합성된, Synthetic): 사전 노출을 최소화하기 위해 생성된 문장으로, 구성된 개체와 이항 결합(bigram) 분포를 사용하여 참/거짓 또는 허구적 패턴을 따르지만 실제 세계의 참조 대상은 없는 문장 (예: "Norminsk 시는 Jamoates에 위치해 있다").

2. 실험 설계

프레임워크는 어떤 "둘 다 아님" 문장이 참으로 취급되는지(의미론적 가정 $\Theta$)를 변화시키며 신념의 안정성을 평가합니다.

• 기준선 ($\Theta_0$): 오직 실제 참인 문장들만이 참으로 라벨링됩니다.
• 섭동된 상태 ($\Theta$): "둘 다 아님" 문장의 일부(허구적 또는 합성된 문장)가 참으로 재라벨링됩니다.
• 지표: 안정성은 신념 철회(Epistemic Retractions, $R$)—섭동 하에서 '참' 지위를 잃은 참인 문장들—와 **신념 확장(Epistemic Expansions, $E$)**에 의해 정량화됩니다. 비율은 기준 성능을 고려하여 정규화됩니다.

3. 이중 구현

P-StaT는 교차 설정 비교를 가능하게 하기 위해 두 가지 방식으로 구현됩니다.

• 표현적 (Representational): $\Theta$에 의해 유도된 라벨을 사용하여 LLM의 은닉층 활성화를 대상으로 선형 프로브(sAwMIL)를 훈련합니다.
• 행동적 (Behavioral): LLM에게 $\Theta$ 하에서 참으로 라벨링된 문장들로 구성된 "신념 맥락"($C_\Theta$)을 제공하고, 새로운 문장을 판단하도록 요청합니다.

4. 데이터셋 및 모델

본 연구는 세 가지 도메인에 걸쳐 21개의 오픈 소스 LLM(Gemma, Llama, Mistral, Qwen 제품군)을 대상으로 수행되었습니다.

1. 도시 위치: 지리적 사실.
2. 의학적 적응증: 약물-질병 치료 관계.
3. 단어 정의: 어휘적 의미론.

주요 기여

1. 새로운 데이터셋: 통제된 섭동 기반의 신념 안정성 평가를 위해 설계된 어휘적으로 매칭된 허구적(Fictional) 및 합성된(Synthetic) 데이터셋을 도입했습니다.
2. 통합 프레임워크: 동일한 의미론적 섭동을 두 설정 모두에 적용함으로써 표현적 안정성과 행동적 안정성 사이의 간극을 메우는 P-StaT를 제안했습니다.
3. 실증적 발견: 불친숙한 합성(Synthetic) 섭동이 익숙한 허구적(Fictional) 섭동보다 현저히 더 큰 신념 불안정성을 유발함을 입증하였으며, 이는 특히 행동적 평가에서 두드러졌습니다.
4. 의미론적 분석: 철회된 문장에서 나타나는 반복적인 테마, 즉 모호성, 기술적 용어, 희귀 개념 등을 식별했습니다.

결과

1. 친숙도에 따른 안정성 차이

• 행동적 불안정성: 불친숙한 합성 섭동은 허구적 섭동보다 일관되게 높은 철회율을 유발했습니다. 도시 위치 및 단어 정의 도메인에서, 합성 섭동에 대한 중앙값 행동 철회율은 허구적 섭동에 비해 현저히 낮은 수준임에도 불구하고, 합성 섭동의 경우 빈번하게 **0.5 (50%)**를 초과했습니다.
• 표현적 불안정성: 표현적 철회율은 전반적으로 더 낮았으나(통상 <0.08), 추세는 지속되었습니다. 합성 섭동은 특히 의학적 적응증 및 단어 정의 도메인에서 허구적 섭동보다 동등하거나 더 높은 불안정성을 유발했습니다.
• 대조 조건: "노이즈(Noise)" 조건(가우시안 활성화 또는 교차 도메인 진리)은 불안정성이 통계적 인위적 효과가 아니라 의미론적 내용에 의해 유도됨을 확인하는 대조군 역할을 했습니다.

2. 친숙도 조작의 타당성 검증

저자들은 관찰된 효과가 저수준의 어휘적 또는 표현적 인위적 효과에 의한 것이 아님을 검증했습니다.

• 어휘 구조: 합성 문장은 각 범주(참/거짓 또는 허구)의 이항 결합 분포를 보존하여 어휘적 유사성을 확보했습니다.
• 표현적 이질성: 허구적 문장이 합성 문장보다 집단 내 유클리드 거리가 높게 나타나지 않았으므로, 이질성이 불안정성의 원인이 아님을 입증했습니다.
• 친숙도 대리 지표: 다음 토큰 확률 분석 결과, 표면 구조가 유사함에도 불구하고 모든 LLM에서 합성 문장은 허구적 문장보다 일관되게 친숙도가 낮았습니다(낮은 확률).

3. 철회된 문장의 반복적 테마

철회된 문장에 대한 클러스터링 분석 결과, 불안정성은 무작위가 아니라 특정 의미 영역에 집중되었습니다.

• 모호한 참조어: 다중 의미를 가진 용어 (예: 미국 또는 페루의 도시를 지칭하는 "Lima").
• 희귀/기술적 개념: 생소한 어휘나 전문적인 과학 용어 (예: "ptomaine", "pseudomonas").
• 수식어 민감적 주장: 특정 하위 유형이나 조건에 의존하는 생물학적 관계 (예: 콜릭(colic)에 대한 모르핀).
• 경계선상의 관계: 간접적이거나 단계적인 의미적 연결 (예: "바이올린"을 "현악기"의 일종으로 보는 것).

의의 및 주장

본 논문은 인식적 친숙도가 의미론적 재구성 하에서의 안정성과 체계적으로 연관되어 있다고 주장합니다. 이 연구의 주요 의의는 다음과 같습니다.

1. 지표로서의 안정성: 안정성 기반 분석이 전통적인 정확도 기반 벤치마크를 보완할 수 있음을 보여줍니다. LLM은 표준 테스트에서는 사실적으로 정확해 보일 수 있지만, 익숙하지 않은 의미론적 맥락에 노출될 때 불안정해질 수 있습니다.
2. 진단적 가치: P-StaT는 기존 벤치마크에서는 신뢰할 수 있는 것처럼 보이지만 섭동 하에서 붕괴될 수 있는 "의미론적으로 취약한" 주장이나 도메인을 식별하기 위한 통제된 환경을 제공합니다.
3. 기계적 통찰: 표현적 불안정성과 행동적 불안정성 사이의 일치는 LLM 내의 진리 조직이 단순히 입력의 표면 형태가 아니라, 의미론적 맥락의 친숙도에 민감하다는 것을 시사합니다.

저자들은 P-StaT를 취약점을 악용하기보다는 강건성 평가를 지원하기 위한 진단 도구로 포지셔닝합니다. 또한 친숙도를 구성적 대리물을 통해 조작했다는 점과, 진화하는 시스템(예: 지속 학습)이 아닌 정적 파라미터에 집중했다는 한계점을 언급했습니다.