Information Representation Fairness in Long-Document Embeddings: The Peculiar Interaction of Positional and Language Bias

1. 문제 정의 (Problem Definition)

• 배경: 임베딩 기반 검색 (RAG, 에이전트 시스템 등) 에서 문서는 벡터 공간에 매핑되어 검색됩니다. 그러나 긴 문서 (Long-Document) 를 임베딩할 때, 모델이 문서의 특정 부분 (예: 앞부분) 을 과도하게 반영하고 뒷부분을 소홀히 하는 **위치 편향 (Positional Bias)**이 존재합니다.
• 핵심 문제:
  1. 위치 편향: 문서의 앞부분에 위치한 정보 (Segment) 가 뒷부분의 정보보다 임베딩 벡터에 더 강하게 반영됩니다. 이로 인해 뒷부분의 중요한 정보는 검색 시 발견되지 않을 수 있습니다.
  2. 언어 편향 (Language Bias): 고자원 언어 (영어, 중국어 등) 로 된 세그먼트가 저자원 언어 (한인, 한국어 등) 로 된 세그먼트보다 임베딩에서 더 잘 표현되는 경향이 있습니다.
  3. 정보 표현의 불공정성: 다중 세그먼트로 구성된 문서 (예: 신문 페이지, 법률 문서) 에서 각 세그먼트가 문서 임베딩에 기여하는 정도가 위치나 언어에 따라 불균등하게 되어, 정보의 공정한 표현 (Information Representation Fairness) 이 저해됩니다.

2. 방법론 (Methodology)

저자들은 이러한 편향을 정량화하고 원인을 분석하기 위해 다음과 같은 프레임워크와 기법을 제안했습니다.

가. 평가 프레임워크 (Evaluation Framework)

• 데이터 구성: 6 개 언어 (영어, 중국어, 독일어, 이탈리아어, 한국어, 힌디어) 의 위키피디아 기사를 기반으로 한 **비교 가능한 말뭉치 (Comparable Corpus)**를 구축했습니다.
  • 각 문서는 $n$개의 독립적인 세그먼트 (기사) 를 임의의 순서로 연결하여 구성 ($n \in \{3, 4, 5, 6\}$).
  • 단어를 섞어 (Permutation) 세그먼트의 내용 자체를 통제하고, 순서와 언어의 효과만 분리하여 분석했습니다.
• 측정 지표:
  1. 위치 공정성 (Positional Fairness): 전체 문서 임베딩 ($e_{doc}$) 과 각 세그먼트의 독립 임베딩 ($e_{iso}$) 간의 코사인 유사도를 측정합니다. 모든 위치에서 유사도가 동일해야 공정하다고 봅니다.
  2. 정보 유지 (Information Retention): 세그먼트가 독립적으로 있을 때의 임베딩과 긴 문서 컨텍스트 내에서의 컨텍스트화 임베딩 ($e_{ctx}$) 간의 유사도를 측정하여, 컨텍스트화 과정에서 정보가 얼마나 왜곡되는지 분석합니다.
• 통계 분석: 위치별 편향을 정량화하기 위해 OLS(Ordinary Least Squares) 회귀 분석을 수행하여 위치별 계수 ($\beta_p$) 를 추정했습니다.

나. 편향 원인 분석 (Attention Analysis)

• 메커니즘 규명: mGTE 모델 (시작 토큰 <s> 를 풀링 토큰으로 사용) 의 Self-Attention 분포를 분석했습니다.
• 발견: <s> 토큰이 시퀀스 초기의 토큰들에 대해 과도한 Attention Mass 를 할당하는 Front-loaded Attention 현상을 발견했습니다. 이것이 뒷부분 세그먼트의 정보가 임베딩에 제대로 반영되지 않는 주된 원인으로 지목되었습니다.

다. 해결책: 추론 시 Attention Calibration (Inference-Time Attention Calibration)

• 접근 방식: 모델 재학습 없이 추론 (Inference) 단계에서 Attention 점수를 재조정하는 방법을 제안했습니다.
• 구현:
  • Key 토큰들을 고정된 크기의 '바스켓 (Basket)'으로 나눕니다.
  • <s> 쿼리 토큰이 각 바스켓에 할당하는 총 Attention Mass 를 균등하게 재분배합니다.
  • 바스켓 내의 세부 분포는 유지하되, 전체적인 Attention 예산을 문서의 앞뒤에 고르게 분산시켜 뒷부분의 정보도 충분히 반영되도록 합니다.
• 특징: 추가 학습이 필요 없으며, 두 번의 Forward Pass 만으로 수행 가능합니다.

3. 주요 결과 (Key Results)

가. 편향의 실증적 확인

• 위치 편향: 모든 실험에서 첫 번째 세그먼트가 가장 강하게 표현되었고, 뒤로 갈수록 표현력이 급격히 감소하는 L 자형 (L-shaped) 분포를 보였습니다. 특히 2 번째와 3 번째 세그먼트의 정보가 가장 크게 누락되었습니다.
• 언어 편향: 영어 (및 mGTE 의 경우 중국어) 세그먼트는 위치에 관계없이 상대적으로 잘 표현되는 반면, 독일어, 힌디어 등 저자원 언어는 위치에 따라 표현력이 크게 떨어졌습니다.
• 정보 유지: 앞부분 세그먼트는 컨텍스트화되어도 원래 의미를 잘 유지하지만, 뒷부분 세그먼트는 컨텍스트화 과정에서 의미가 왜곡되거나 손실되는 경향이 있었습니다.

나. Attention Calibration 의 효과

• 편향 감소: 제안한 Calibration 방법을 적용한 결과, 위치 편향이 현저히 감소했습니다.
  • 앞부분 세그먼트의 과대 표현이 줄어들고, 뒷부분 세그먼트의 표현력이 향상되어 전체적으로 균등한 분포를 보였습니다.
• 다국어 환경에서의 효과: 영어와 같은 우세한 언어의 편향 효과도 완화되어, 언어와 위치에 따른 불공정성이 모두 개선되었습니다.
• 의미 손실 없음: Calibration 을 적용해도 임베딩의 의미적 내용 (Semantic Content) 이 붕괴되지 않았으며, 오히려 뒷부분 세그먼트의 발견 가능성 (Discoverability) 이 향상됨을 확인했습니다.

4. 주요 기여 (Key Contributions)

1. 평가 프레임워크 제안: 긴 컨텍스트 임베딩 모델의 위치 편향과 언어 편향을 동시에 정량화할 수 있는 체계적인 평가 프레임워크를 개발했습니다.
2. 편향의 다차원성 규명: 기존 연구가 주로 위치 편향에 집중했다면, 본 연구는 언어 편향이 위치 편향과 상호작용하여 불공정성을 심화시킨다는 점을 밝혔습니다.
3. 원인 분석: Pooling 토큰 (예: <s>) 의 Front-loaded Self-Attention 분포가 위치 편향의 근본 원인임을 Attention 분석을 통해 규명했습니다.
4. 실용적 해결책: 추가 학습 없이 추론 시 적용 가능한 Attention Calibration 방법을 제시하여, 기존 모델의 편향을 효과적으로 완화하고 더 공정한 임베딩을 생성할 수 있음을 증명했습니다.

5. 의의 및 의의 (Significance)

• RAG 및 검색 시스템의 신뢰성 향상: 긴 문서 기반 검색 (Long-Document Retrieval) 에서 뒷부분의 중요한 정보가 누락되는 문제를 해결하여, RAG 시스템의 정확성과 신뢰성을 높이는 데 기여합니다.
• 다국어 및 저자원 언어 지원: 고자원 언어 중심의 편향을 완화함으로써, 다양한 언어로 된 긴 문서의 정보 접근성을 개선합니다.
• 해석 가능성 (Interpretability) 증대: 임베딩 모델의 내부 동작 (Attention 분포) 과 출력 (임베딩 벡터) 간의 인과 관계를 규명하여, 모델의 불공정성을 진단하고 설명하는 데 필요한 도구를 제공합니다.
• 실무 적용 가능성: 재학습이 필요 없는 추론 시 기법 (Inference-time method) 이므로, 기존 상용 모델에 즉시 적용하여 성능을 개선할 수 있는 실용적인 가치를 가집니다.

이 논문은 긴 문서를 임베딩할 때 발생하는 구조적 불공정성을 체계적으로 분석하고, 이를 해결할 수 있는 구체적인 기술적 솔루션을 제시했다는 점에서 의의가 큽니다.