기술 요약: STEEREVAL – 다국어 신경망 요약 지표를 위한 추론 시점 개입(Inference-time Interventions)

문제 정의

자연어 생성(NLG) 작업, 특히 요약 작업의 평가는 다국어 환경에서 상당한 병목 현상에 직면해 있다. BLEU나 ROUGE와 같은 지표들이 자동 평가를 확립해 왔으나, 최근에는 인간의 판단과 더 높은 상관관계를 보이는 모델 기반 지표(예: BERTScore, COMET)와 대규모 언어 모델(LLM)을 판사로 사용하는 추세가 두드e지고 있다. 그러나 실증 연구에 따르면, 이러한 다국어 지표들은 다양한 언어에 걸쳐 인간의 판단과 잘 상관되지 않는 경우가 많다.

저자들은 이러한 성능 격차가 다국어 LLM의 내부 구조, 즉 다국어 모델이 영어(English)를 처리 과정의 "피벗 언어(pivot language)"로 빈번하게 활용한다는 점에서 기인한다고 가설을 세운다. 모델이 저자원 언어를 처리할 때, 내부 표현(internal representations)이 이 영어 피벗과 정렬되지 않아 다운스트림 성능 저하를 초래할 수 있다. 이러한 불일치는 이전에 기계 번역 문제와 연관되어 논의된 바 있으며, 본 논문에서는 비영어 요약 평가의 성능 저하를 일으키는 근본 원인으로 제안된다.

방법론

본 논문은 신경 지표의 내부 활성화(activations)를 영어 피벗 쪽으로 "조종(steer)"하기 위해 추론 시점 개입을 적용하는 프레임워크인 STEEREVAL을 제안한다. 이 방식은 모델의 재학습을 필요로 하지 않는다. 방법론은 테스트 시점에 적용되는 두 가지 주요 개입 기술을 포함한다:

1. 벡터 기반 개입 (Vector-based Intervention): 선형 표현 가설(linear representation hypothesis)에 기반하여, 저자들은 병렬 데이터(FLORES 데이터셋)를 사용하여 소스 언어($h_s$)에서 타겟 언어인 영어($h_t$)로 향하는 조종 벡터를 계산한다.

   • 벡터는 타겟 언어와 소스 언어의 평균 표현의 차이로 계산된다: $\bar{h}_v = \bar{h}_t - \bar{h}_s$.
   • 추론 시, 이 벡터는 모델의 활성화 값에 더해진다: $h^{mix}_{q,l} = h_s + \rho \bar{h}_v$, 여기서 $\rho$는 조종 강도를 조절한다.

2. 맵 기반 개입 (Map-based Intervention): 교차 언어 생성(cross-lingual generation)에 관한 최근 연구에서 영감을 얻은 이 방법은 소스 언어 표현을 타겟 언어 공간으로 투영하는 선형 매핑 행렬 $W_l$을 학습한다.

   • 매핑은 병렬 데이터 상에서 소스와 타겟 표현 사이의 거리를 최소화함으로써 학습된다.
   • 추론 시, 소스 표현은 투영된 후 원래의 표현과 혼합된다: $h^{mix}_{q,l} = (1 - \sigma)h_s + \sigma \hat{h}_t$, 여기서 $\sigma$는 편차의 정도를 조절한다.

저자들은 두 가지 유형의 지표에 대해 이 개입들을 평가한다:

• LLM-as-a-Judge (판사로서의 LLM): 직접 프롬프팅(1~5점 척도 점수 부여) 및 GPTScore(조건부 생성 확률 사용). 테스트된 모델로는 Llama-3-8B, Bloom-7B, Aya-Expanse (8B 및 32B)가 있다.
• 인코더 기반 지표 (Encoder-based Metric): 주로 기계 번역에 사용되지만 여기서는 요약용으로 변형된 COMET(wmt22-comet-da 모델)을 사용한다.

평가는 8개의 유형학적으로 다양한 언어(아랍어, 스페인어, 히브리어, 일본어, 터키어, 우크라이나어, 요루바어, 중국어)를 포함하는 메타 평가 데이터셋을 통해 수행되며, 일관성(coherence)과 완결성(completeness)에 대한 인간의 판단을 기준으로 한다.

주요 결과

연구 결과, 활성화를 영어 피로 조종하는 것이 신경 지표와 인간의 판단 사이의 상관관계를 일관되게 개선함을 입증하였다:

• 일반적 개선: 조종 방법(벡터 및 맵 모두)은 조종되지 않은 베이스라인보다 거의 항상 높은 상관관계를 보였다. 특히 베이스라인 성능이 낮았던 경우, 상대적 개선율($\Delta\%$)이 100%를 초과하여 상관관계를 사실상 두 배로 높였다.
• 저자원 언어에 미치는 영향: 베이스라인 성능이 약했던 언어들(예: 히브리어, 터키어, 요루바어)이 조종을 통해 가장 큰 혜택을 받았다. 예를 들어, 일본어 일관성에 대한 Bloom-7B의 직접 프롬프팅 성능은 조종 전 거의 0에 가까운 상관관계에서 조종 후 0.18로 개선되었다.
• 지표별 특이성:
  • COMET: 거의 모든 언어와 차원에서 큰 개선을 보이며 조종에 매우 민감하게 반응했다.
  • 직접 프롬프팅 (Direct Prompting): 매우 가변적인 양상을 보였다. 상대적 이득은 종종 극적이었으나, 이는 베이스라인 상관관계가 0에 가까울 때 발생했기 때문에 절대적인 상관관계 자체는 완만하게 상승했다.
  • GPTScore: 조종에 의해 중간 정도의 이득을 얻었으며, 베상 상관관계가 이미 강한 경우에는 한계 효용 체감 현상이 관찰되었다.
• 벡터 vs 맵: 벡터 조종이 맵 기반 조종보다 일반적으로 더 큰 이득을 주었으며, 특히 COMET 및 성능이 낮은 언어-지표 쌍에서 그러했다. 그러나 최적의 조종 강도($\rho$ 또는 $\sigma$)는 언어마다 크게 달랐으며, 이는 단일 글로벌 파라미터가 최적이 아님을 시사한다.
• 피벗 언어: 대안적인 피벗 언어로 프랑스어를 사용한 실험에서도 유의미한 개선이 나타났으며, 이는 고자원 언어이자 잘 정렬된 언어로 조종하는 것이 성능을 높인다는 가설을 뒷받침한다.

핵심 기여

1. 지표를 위한 활성화 조종 (Activation Steering for Metrics): 본 논문은 다국어 요약 지표에 활성화 조종 기술을 적용하고 검증한다. 이는 인코더 기반 지표(COMET 등)에 대한 조종을 탐구한 첫 사례이며, LLM 기반 평가기에서도 일관된 개선을 보여준다.
2. 다국어 메타 분석: 저자들은 8개의 다양한 언어에 걸쳐 모델 기반 요약 지표에 대한 포괄적인 메타 분석을 제공하며, 비영어 환경에서 현재의 LLM-as-a-judge 방식이 갖는 불일치성을 강조한다.
3. 교차 언어 벡터 유사성: 본 연구는 레이어별로 언어 대 영어 조종 벡터의 유사성을 경험적으로 측정한다. 연구 결과, 이러한 벡터들은 (요루바어와 같은 예외를 제외하면) 대부분의 언어에서 서로 매우 유사하며, 이는 언어 표현의 공유된 기하학적 구조에 관한 선행 연구를 뒷받침한다.

의의 및 주장

본 논문은 다국어 LLM이 영어에 의존하는 내부적 특성이 다른 언어에서의 자동 평가 신뢰도를 제한하는 결정적인 요인이라고 주장한다. STEEREVAL은 추론 시점에 이러한 불일치를 명시적으로 교정함으로써, 훈련이 필요 없는 실용적인 방법으로 지표 성능을 향상시킨다.

저자들은 이 연구를 모델 내부의 통찰력을 실질적인 평가 시나리오에 활용하기 위한 단계로 규정한다. 또한, 본 연구의 초점은 요약에 있으나, 조종 기술이 신경 지표의 다국어 일반화 능력을 향상시키기 위한 일반화 가능한 전략이 될 수 있음을 시사한다. 논문은 미래의 함의에 대해 겸허한 태도를 유지하며, 향후 연구에서 언어별 및 차원별 개입을 결합하는 방안을 조사할 수 있다고 언급하지만, 지표 평가의 범위를 넘어선 구체적인 새로운 응용 분야를 제안하지는 않는다.