기술 요약: DySem

문제 제기

의미론적 텍스트 유사성 (STS) 계산은 자연어 처리의 기초적인 과제로, 의미 검색, 클러스터링, 정보 검색과 같은 응용 분야의 기반을 이룹니다. 현재 대규모 언어 모델 (LLM) 을 활용하는 방법들은 일반적으로 고정된 고차원 벡터로 마지막 레이어의 은닉 상태를 추출하여 텍스트 쌍 간의 유사성을 계산합니다. 저자들은 이 패러다임이 두 가지 주요 한계를 겪고 있다고 주장합니다:

1. 비최적 표현: LLM 의 마지막 은닉 레이어는 다음 토큰 예측을 위해 최적화되어 있으며, 핵심 의미와 더 넓은 관련 없는 지식이 얽힌 일반화된 정보를 인코딩합니다. 결과적으로 순수한 의미론적 유사성 계산에는 가장 효과적인 구성 요소가 아닐 수 있습니다.
2. 중복성과 노이즈: LLM 의 은닉 상태 차원은 종종 매우 큽니다 (예: 4096 이상), 이는 상당한 중복성과 노이즈를 초래합니다. 유사성 계산을 위해 전체 차원을 사용하면 불필요한 계산 오버헤드가 발생하며, 이전 연구들은 차원 축소 후에도 의미론적 무결성이 유지된다고 시사합니다.

기존 접근 방식은 모든 텍스트를 동일한 고정된 마지막 은닉 상태와 전체 차원을 사용하여 벡터로 매핑하며, 모델의 내부 동적 구조나 개별 텍스트 쌍의 특정 의미론적 필요를 활용하지 못합니다.

방법론: DySem

저자들은 정적이고 고정된 차원 표현에서 벗어나 동적이고 샘플별 의미론적 차원으로 전환하는 새로운 훈련 없는 프레임워크인 DySem을 제안합니다. 이 방법은 세 단계로 운영됩니다:

1. 다국어 합의를 통한 의미 구성 요소 추출

텍스트 $x$의 핵심 의미론적 의미를 식별하면서 언어별 표면적 인공물을 필터링하기 위해, DySem 은 다국어 합의 전략을 사용합니다:

• 번역: 입력 텍스트는 미리 정의된 $m$개의 목표 언어로 번역됩니다.
• 프롬프팅: 각 언어 버전은 내부 상태 벡터를 추출하기 위해 특정 프롬프트 템플릿 (표준 영어 프롬프트 또는 언어별 프롬프트) 을 사용하여 LLM 을 통해 처리됩니다.
• 구성 요소 선택: 최종 은닉 상태 ($h^L_n$) 를 사용하는 대신, 이 방법은 내부 구성 요소, 구체적으로 누적 어텐션 출력 ($A^L_n$) 과 누적 FFN 출력 ($F^L_n$) 을 평가합니다.
• 합의 식별: 모든 언어 버전에서 일관되게 활성화된 (양수 값) 차원은 '의미 구성 요소 집합'의 일부로 간주됩니다. 저자들은 이 동시 활성화를 기반으로 합의 인덱스 집합 $I(x)$를 정의합니다.
• 차원 순위 매기기: 동시 활성화된 집합 내에서 차원은 언어 간 평균 활성화도에 따라 순위가 매겨지며, 상위 $k$개 차원이 선택되어 의미 구성 요소 집합 $S(x)$를 형성합니다.

2. 결합 의미 집합 구성

주어진 텍스트 쌍 $(x, y)$에 대해 DySem 은 개별 의미 구성 요소 집합의 합집합을 취함으로써 쌍 의존적인 결합 의미 집합 $U(x, y)$를 구성합니다:
$$U(x, y) = S(x) \cup S(y)$$
이 동적 정렬은 비교가 두 텍스트 모두에 관련된 차원을 포착하도록 보장하여, 관련 없는 배경 노이즈를 효과적으로 필터링하고 공유된 의미론적 개념에 초점을 맞춥니다.

3. 유연한 차원을 통한 유사성 계산

유사성은 결합 의미 집합 $U(x, y)$에 대한 제한된 코사인 유사성을 사용하여 계산됩니다. 벡터는 이 공유된 부분 차원 집합으로 투영되며, 유사성은 다음과 같이 계산됩니다:
$$\text{sim}(x, y) = \cos(v_U(x), v_U(y))$$
중요하게도, 계산을 위해 사용되는 벡터의 차원성은 고정된 사전 정의 크기가 아니라 특정 입력 쌍에 따라 유연하게 결정됩니다.

주요 기여

• 동적 의미 추출: 이 논문은 정적인 마지막 은닉 상태를 넘어 LLM 내부의 동적이고 샘플별 의미 구성 요소를 발견하는 방법을 소개합니다.
• 다국어 합의: 번역을 거치더라도 핵심 의미는 불변한다는 직관을 활용하여 언어별 노이즈에서 의미론적 차원을 분리합니다.
• 유연한 차원성: 이 프레임워크는 모델 훈련 없이 전체 은닉 상태 크기에 비해 훨씬 적은 차원 (종종 1,000 개 이하) 을 사용하여 고품질 STS 를 달성할 수 있음을 보여줍니다.
• 내부 구성 요소 분석: 이 연구는 내부 구성 요소를 체계적으로 평가하여, 누적 어텐션 출력 ($A^L_n$) 이 표준 은닉 상태나 FFN 출력보다 종종 우수한 의미론적 표현을 제공한다는 사실을 발견했습니다.

실험 결과

LLaMA2/3.1, Qwen2.5/3, Phi3 계열 (기초 및 지시 미세 조정 버전 포함) 을 포함한 10 개의 서로 다른 LLM 을 사용하여 7 개의 표준 STS 벤치마크 (STS12–STS16, STS-B, SICK-R) 에서 광범위한 실험이 수행되었습니다.

• 성능: DySem 은 PromptEOL, AlignedWVA, 다양한 대비적 프롬프팅 방법을 포함한 최근 베이스라인보다 일관되게 우수한 성과를 거두었습니다. 예를 들어, Qwen3-8B 모델에서 DySem 은 평균 점수 80.54를 기록하여 AlignedWVA 보다 5.75 점, PromptEOL 보다 11.63 점 높았습니다.
• 효율성: 훨씬 낮은 차원 (모델과 프롬프트 전략에 따라 평균 658~1240 차원) 을 사용함에도 불구하고, DySem 은 전체 4096 차원 벡터를 사용하는 방법보다 우수하거나 경쟁력 있는 결과를 달성했습니다.
• 구성 요소 타당성: 제거 실험 (Ablation studies) 은 선택된 의미 구성 요소가 무작위 차원 선택보다 현저히 우수함을 확인시켰습니다. 또한, 누적 어텐션 출력이 STS 작업에 가장 신뢰할 수 있는 내부 표현으로 식별되었습니다.
• 프롬프트 민감성: 이 방법은 다양한 프롬프트 전략 (영어 대 언어별) 과 벡터 구성 방법 (소스 대 평균) 에서 견고성을 보였으며, 언어별 프롬프트와 평균 벡터의 조합이 종종 최상의 결과를 낳았습니다.

중요성과 주장

이 논문은 DySem 이 내부 모델 모듈을 직접 마이닝함으로써 텍스트를 표현하고 LLM 과의 관계를 평가하는 새로운 방향을 제시한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 훈련 없는 효율성: 미세 조정 없이 사전 훈련된 모든 LLM 에 적용 가능한 의미론적 유사성 개선을 위한 훈련 없는 접근 방식을 제공합니다.
2. 차원 축소: 의미론적 작업을 위해 전체 차원 은닉 상태를 사용할 필요성에 도전하며, 컴팩트하고 동적인 차원 부분 집합이 충분하며 종종 더 효과적임을 보여줍니다.
3. 확장성: 이 프레임워크는 유사성 계산 및 텍스트 검색 전에 적용할 수 있는 일반적인 처리 단계로 제시되며, 색인화 및 검색과 같은 다운스트림 응용 프로그램에서 계산 오버헤드를 줄일 수 있습니다.

저자들은 초기 인코딩 비용이 필요한 번역과 독립적인 순전파로 인해 $O(m)$의 추론 오버헤드가 발생하며, 이는 단일 패스 인코더에 비해 대규모 규모, 콜드 스타트 애플리케이션에 도전이 될 수 있음을 인정합니다. 그러나 이 비용은 오프라인 데이터베이스 구축 단계에 집중되는 반면, 온라인 쿼리는 효율적으로 유지된다고 주장합니다.