기술 요약: 불량 질문의 위상학적 구조 (The Topology of Ill-Posed Questions)

문제 정의

대규모 언어 모델(LLM)은 빈번하게 불량 질문(ill-posed questions)—모호하거나, 정보가 부족하거나, 모순되거나, 필요한 맥락이 결여된 질의—에 직면한다. 잘 정의된 문제와 달리, 이러한 질의는 유효한 답이 없거나 여러 가지 타당한 해석을 허용할 수 있다. 불량성을 처리하는 기존 방식은 주로 모델 출력 분석(예: 거절 패턴 탐지)에 의존하거나, 입력-출력 재작성을 통한 특정 하위 부류의 모호성에 집중한다. 이러한 방법들은 LLM을 블랙박스로 취급하여 다양한 불량성의 근원을 아우르는 통합된 내부 표현을 포착하지 못한다. 결과적으로, 현재의 스티어링(steering) 메커니즘은 근원 인식형 명료화나 표적화된 절제를 유도하기보다는 일반적인 거절 템플릿으로 수렴되는 경ord를 보인다.

방법론

본 논문은 프롬프트 토큰의 **내부 은닉 상태(internal hidden states)**를 위상 구조로 모델링하여 LLM의 행동을 분석하고 제어하는 프레임워크를 제안한다.

1. 계층별 토큰 클라우드 표현 (Layer-wise Token Cloud Representation)

프롬프트를 단일 풀링 벡터로 압축하는 대신, 저자들은 각 트랜스포머 레이어 $l$에서의 프롬프트 토큰들의 문맥적 은닉 상태를 하나의 점 구름(point cloud) $X^{(l)}(q)$로 취급한다.

• 차원 축소: 노이즈 관리와 계산 비용 절감을 위해, 훈련 세트에 적합하게 조정된 주성분 분석(PCA)을 사용하여 토큰 상태를 저차원 공간으로 투영한다.
• 위상학적 분석: 이 토큰 구름의 기하학적 구조는 **유한 0차 지속적 호몰로지($H_0$)**를 사용하여 분석된다. 이 방법은 거리 임계값(필트레이션 반경)이 증가함에 따라 초기에는 서로 분리되어 있던 토큰 구성 요소들이 어떻게 병합되는지를 추적한다.
• 해석: 잘 정의된 질문은 필트레이션 과정 초기에 일관된 구조로 합쳐지는 토큰 상태를 유도한다. 반면, 불량한 질문은 더 큰 척도에서도 분리되거나 불균일하게 연결된 그룹(해결되지 않은 엔티티, 문맥 또는 제약을 나타냄)을 유지하며, 결과적으로 뚜렷한 병합 패턴을 보인다.

2. 압축된 위상 기술자 (Compact Topological Descriptors)

각 레이어에 대해, 유한 $H_0$ 지속성 다이어그램(persistence diagram)은 세 가지 고정 차원 스칼라 기술자로 요약된다:

1. 평균 유한 수명 ($\mu$): 구성 요소들이 병합되는 평균 척도로, 파편화의 정도를 나타낸다.
2. 정규화된 수명 엔트로피 ($E$): 병합 이벤트의 분포(확산형 vs 집중형)를 측정한다.
3. 최대 수명 집중도 ($R$): 상위 5개의 최대 수명 합계를 전체 합계로 나눈 비율로, 주요 분리 현상의 지배력을 포착한다.

이 기술자들은 모든 $L$개 레이어에 걸쳐 결합되어 질문을 나타내는 위상 벡터 $z(q) \in \mathbb{R}^{3L}$를 형성한다.

3. 위상 조건부 활성화 스티어링 (Topology-Conditioned Activation Steering)

본 프레임워크는 이 위상 벡터를 두 가지 목적으로 활용한다:

• 분류: 감독 학습된 분류기가 위상 벡터로부터 이진 불량성 또는 세밀한 하위 유형(예: 다의성, 누락된 시간적 문맥)을 직접 예측한다.
• 국소적 스티어링 (Local Steering): 단일한 글로벌 "절제" 방향을 적용하는 대신, 이 방법은 훈련 세트에서 위상적으로 유사한 긍정적(명료화/절제) 사례와 부정적(직접 답변) 사례를 검색한다.
  • 국소 스티어링 벡터 $v_{local}$은 검색된 이웃들의 평균 활성화 값의 차이로 구성된다.
  • 이 벡터는 프리필(prefill) 및 디코딩 단계 동안 은닉 상태에 더해져, 모델이 원래 질문의 의미론적 내용을 보존하면서도 불량성의 특정 근원을 해결하는 응답을 하도록 유도한다.

주요 기여

1. 통합 위상 표현: 유한 $H_0$ 지속적 호몰로지를 사용하여 불량 질문의 다중 척도 연결성을 정량화하는 계층별 토큰 구름 표현을 도입하였다.
2. 압축된 특징 추출: $H_0$ 수명에서 유도된 세 가지 압축 통계량(평균 수명, 엔트로피, 집중도)이 이진 탐지와 세밀한 9-way 분류를 모두 지원할 수 있는 견고한 저차원 표현을 형성함을 입증하였다.
3. 위상 조건부 스티어링: 질문별 대조 쌍을 선택하기 위해 위상적 유사성을 사용하는 스티어링 메커니즘을 개발하여, 모델이 일반적인 거절로 무너지지 않고 근원 인식형 절제나 명료화로 전환할 수 있도록 하였다.

실험 결과

본 프레임워크는 세 가지 오픈 웨이트 LLM(Gemma-7B-it, Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3)을 대상으로 세 가지 벤치마크(AmbigQA 및 SituatedQA (이진 탐지), CLAMBER (9-way 세밀한 분류))에서 평가되었다.

• 분류 성능:

  • AmbigQA: 정확도가 AEN 베이스라인의 67.4%에서 **78.9%**로 향상되었다.
  • SituatedQA: 정확도가 79.9%에서 **88.5%**로 향상되었다.
  • CLAMBER (9-way): 정확도가 57.6%에서 **69.6%**로 향상되었다.
  • 위상 특징은 프롬프트 기반 베이스라인(zero-shot, few-shot, CoT) 및 뉴런 프로빙 베이스라인(AEN)을 일관되게 능가하였다.

• 스티어링 성능:

  • 위상 조건부 스티어링은 근거 기반 수용 가능(Grounded Acceptable) 응답률(누락되거나 모호한 특정 요소를 정확히 식별하고 다루는 응답)을 평균 **11.9%에서 16.4%**로 높였다.
  • 전체 수용 가능(Total Acceptable) 비율(근거 기반 + 일반적 응답)은 **61.4%에서 70.6%**로 증가하였다.
  • 결정적으로, 이 방법은 "일반적" 거절을 줄이고 "근거 기반" 응답을 늘림으로써, 스티어링이 질문 특유의 정보를 보존하면서도 응답 행동을 성공적으로 변화시켰음을 보여주었다.

의의 및 주장

본 논문은 지속적 호몰로지가 모델의 내부 연결 구조가 레이어를 가로질러 어떻게 변하는지를 포착하는 해석 가능한 표현을 제공한다고 주장한다. 본 연구의 의의는 다음과 같다:

1. 불량성은 단순히 출력 수준의 현상이 아니라, 프리필 단계에서 토큰 상태의 기하학적 배치 속에 인코딩되어 있다는 점을 입증하였다.
2. 위상 기술자가 국소 활성화 스티어링을 위한 효과적인 검색 키 역할을 할 수 있으며, 이를 통해 불량성의 특정 하위 유형(예: 어휘적 모호성과 누락된 시간적 문맥의 구분)에 민감한 표적 개입이 가능하다는 것을 보여주었다.
3. 이 접근법은 고정된 거절 템플릿을 넘어, LLM이 절제적이면서도(필요한 경우) 질의의 모호성에 대한 구체적인 성격을 정보로서 제공하는 응답을 생성할 수 있게 한다.

저자들은 연구 범위가 세 가지 지시어 튜닝 모델과 세 가지 QA 벤치마크로 제한된다는 한계를 언급하며, 향후 연구에서 더 높은 차원의 호몰로지($H_1$)를 탐구하거나 레이어 집계 가중치를 학습할 수 있음을 시사하였다.