기술 요약: RPAM – 언어 모델의 연관성 평가를 위한 원칙적인 지표

문제 정의

생성형 언어 모델(LM)은 고정관념과 같은 문제가 되는 연관성을 나타낼 수 있으며, 이는 의료 및 콘텐츠 모더레이션과 같이 이해관계가 걸린 애플리케이션에서 유해한 출력으로 이어질 수 있습니다. 이러한 연관성을 평가하는 것은 기존 지표들의 한계로 인해 매우 어렵습니다:

• 다운스트림 지표(Downstream Metrics): 생성된 텍스트 내의 연관성을 분석합니다. 그러나 생성 품질은 LM의 아키텍처, 크기, 미세 조정 목적에 따라 극적으로 달라지기 때문에, 다운스트림 지표는 종종 특화된 LM 전용 데이터셋을 필요로 합니다. 이는 지표의 일반화와 다양한 모델 유형에 대한 원칙적인 적용을 제한합니다.
• 업스트림 지표(Upstream Metrics): 임베딩이나 지속 확률(continuation probabilities)이라는 근본적인 수준에서 LM을 조사합니다. 이는 더 일반화 가능한 접근 방식을 제공합니다. 그러나 기존의 업스트림 지표들은 실제 세계의 연관성(내재적/외현적 인간 연관성 및 다운스트림 생성 텍스트에서 관찰되는 연관성 모두)과 강력한 관계를 입증하는 데 실패했습니다. 결과적으로, 이들은 유해한 다운스트림 행동을 예측하는 데 약한 예측 도구로 간주되곤 합니다.

방법론

저자들은 생성형 LM의 통계적 연관성을 측정하기 위해 설계된 업스트림 평가 지표인 **상대적 확률 연관성 지표(Relative Probability Association Metric, RPAM)**를 소개합니다.

핵심 메커니즘

RPAM은 사전 정의된 타겟(단어, N-gram 또는 문장)과 속성 단어 집합(예: "수학" 대 "예술") 사이의 연관성을 정량화합니다. 절대적 확률이나 코사인 유사성에 의존하는 기존 방식과 달리, RPAM은 상대적 비교를 채택합니다:

1. 프롬프팅(Prompting): 타겟을 의미적으로 중립적인 템플릿(예: "이 단어들은 다음과 연관되어 있습니다: [TARGET] 그리고")에 삽입합니다.
2. 확률 계산: 각 속성 단어에 대한 모델의 지속 확률을 계산합니다.
3. 정규화(Normalization): 상대적 측정을 보장하기 위해, 이 확률들을 전체 속성 자극 집합에 대해 소프트맥스(softmax) 함수를 사용하여 정규화합니다. 이를 통해 정규화된 지속 확률($0 \le p \le 1$)을 얻으며, 이는 상대적 연관성의 크기를 나타냅니다.

지표 변형

RPAM 프레임워크는 세 가지 특정 평가 모드로 확장됩니다:

• RPAM 테스트: 단어 임베딩 연관성 테스트(WEAT)를 변형하여, 두 타겟 집합과 두 속성 집합 사이의 차별적 연관 효과 크기($d$)를 계산함으로써 내재적 연관성(예: 성별, 인종)을 측정합니다.
• RPAM 가치(Valence): 즐거운 단어 집합과 불쾌한 단어 집합(SC-WEAT 기반)에 대한 타겟의 가치(쾌락성)를 측정합니다.
• 검증 프레임워크: 저자들은 RPAM을 다음 세 가지 벤치마크와 비교하여 업스트림 측정을 검증합니다:
  1. 내재적 인간 연관성 (WEAT-WS 사용).
  2. 외현적 인간 연관성 (유사성에는 WS-353, 가치에는 Bellezza, 감성에는 SST2 사용).
  3. 모델 자체의 다운스트림 생성 텍스트에서 측정된 연관성.

실험 설정

연구는 규모와 목적이 다른 세 가지 뚜렷한 LM을 평가합니다:

• Mistral-7B-Instruct: 최첨단 지시어 튜닝된 챗봇.
• Mistral-7B: 베이스 모델.
• GPT-2: 더 작고 초기 단계의 오픈 소스 모델.

실험은 업스트림 측정값과 인간의 연관성 또는 다운스트림 작업 간의 접점을 보장하기 위해 잘 알려진 데이터셋(WEAT-WS, WS-353, Bellezza, SST2)을 활용합니다.

주요 기여

1. RPAM 도입: 상대적 확률 정규화를 사용하는 생성형 LM을 위한 새로운 업스트림 지표를 도입했습니다. 이는 특화된 다운스트림 생성 데이터셋 없이도 다양한 LM 유형과 개념에 적용 가능합니다.
2. 검증 프레임워크: 업스트림 측정을 내재적/외현적 인간 연관성 및 다운스트위 모델 행동과 비교하는 종합적인 검증 프레임워크를 제공합니다.
3. 업스트림 예측 타당성 입증: 논문은 업스트림 측정이 다운스트림 연관성을 효과적으로 예측할 수 있다는 증거를 제시하며, 이는 생성형 LM에서는 이전에 입증되지 않았던 관계입니다.
4. 우수한 성능: RPAM은 GPT-2에서 연관성을 측정하는 데 있어 이전의 기록된 값들을 능가하며, Mistral-7B와 같은 최신 대규모 모델에서 인간의 연관성과 강한 일치성을 보여줍니다.

결과

실험을 통해 다음과 같은 결과가 도출되었습니다:

• 내재적 연관성 (실험 1): RPAM은 세 모델 모두에서 10개 모든 내재적 인간 연관성(WEAT-WS)을 성공적으로 재현하였으며, 100% 탐지율(F1 = 1.0)을 달고 일관되게 양의 효과 크기를 달성했습니다. 이는 WEAT-WS에 대한 기존 벤치마크를 능가했습니다.
• 외현적 연관성 (실험 2): RPAM은 외현적 인간 평가와 강한 일치성을 보였습니다:
  • 단어 유사성 (WS-353): 모델 전반에 걸쳐 스피어먼 상관계수 $\rho$가 0.57에서 0.78 사이로 나타났습니다.
  • 가치 (Bellezza): 스피어먼 상관계수 $\rho$가 0.67에서 0.79 사이로 나타났습니다.
  • 감성 (SST2): F1 점수가 $\ge 0.71$이었습니다.
  • RPAM은 WS-353 및 Bellezza 작업에 대한 GPT-2의 기존 벤치마크 값을 초과했습니다.
• 다운스트림 예측 (실험 3): RPAM 측정값은 동일한 모델에서 측정된 다운스트림 행동과 높은 상관관계를 보였습니다:
  • Mistral-Instruct (Bellezza): 업스트림 RPAM 가치와 다운스트림 제로샷 평가 사이의 스피어man 상관계수 $\rho$가 0.73이었습니다.
  • Mistral & GPT-2 (SST2): 업스트림 RPAM 가치와 다운스트림 감성 분류를 비교했을 때 F1 점수가 $\ge 0.74$였습니다.

의의 및 주장

저자들은 RPAM이 언어 모델의 원칙적인 평가에 있어 중요한 진전이라고 주장합니다:

• 격차 해소: RPAM은 업스트림 측정이 다운스트림의 해악을 예측할 수 없다는 통념에 도전하며, 실제 세계의 연관성(인간 및 다운스트림 모두)과 강력한 관계를 입증한 최초의 업스트림 지표입니다.
• 일반화 가능성: 상대적 비교와 정규화에 의리함으로써, RPAM은 특화된 다운스트림 데이터셋의 한계를 피하며, GPT-2부터 Mistral-7B에 이르는 다양한 LM 아키텍처와 개념에 적용 가능합니다.
• 정책 및 완화: 텍스트 생성 전 단계에서 업스트림에서 편향을 탐지할 수 있는 능력은, 상대적 비교라는 인지 과학 원리에 기반하여 더욱 효과적인 완화 전략과 정보에 입각한 AI 정책을 위한 경로를 제공합니다.

결론적으로, RPAM은 단어 집합을 사용하여 복잡한 교차적 정체성을 단순화하지만, 연관성을 평가하기 위한 견고하고 원칙적인 방법을 제공하며, 이는 더 안전한 AI 시스템 개발에 기여할 수 있습니다. 저자들은 폐쇄형 모델(지속 확률에 접근할 수 없는 경우)에 대한 한계와 비영어권 언어 및 더 다양한 사회적 집단 표현에 대한 향후 연구의 필요성을 언급했습니다.