Compared to What? Baselines and Metrics for Counterfactual Prompting

"Compared to What? Baselines and Metrics for Counterfactual Prompting" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

반사실적 프롬프팅 (Counterfactual prompting) 은 대규모 언어 모델 (LLM) 을 평가하는 표준적인 방법으로, 연구자들이 특정 요인 (예: 성별 편향) 이 모델 출력에 미치는 영향을 격리하기 위해 입력을 수술적으로 편집 (예: "male"를 "female"로 교체) 합니다. 핵심 가정은 관찰된 출력의 변화가 표적 의미 변화에 인과적으로 귀속된다는 것입니다.

저자들은 이 가정이 결함이 있다고 주장하며, 이는 **Treatment Variation Irrelevance(처치 변이 무관성)**이라는 인과 추론 원칙을 위반한다고 지적합니다.

• 문제점: 모든 반사실적 편집은 "복합 처치 (compound treatment)"입니다. 이는 관심 변수 (예: 성별) 를 우발적인 표면 형식 변이 (예: 특정 단어 선택, 토큰 수, 문구) 와 묶어놓습니다.
• 결과: LLM 은 임의의 문구와 토큰 변경에 민감한 것으로 알려져 있습니다 (프롬프팅 민감도). 따라서 관찰된 출력의 반전은 교란의 의미론적 의미가 아니라 텍스트 구조의 변화로 인해 발생할 수 있습니다.
• 현재의 격차: 기존 연구는 종종 의미 보존적 수정으로 유도된 "영 (null)" 분포와 비교하지 않은 채, 원시 교란 효과 (예: 15% 의 답변 반전율) 를 편향이나 불충분한 충실도의 증거로 해석합니다.

2. 방법론

저자들은 표적 효과(관심 변수로 인한 효과) 와 일반 모델 민감도(텍스트 수정 노이즈로 인한 효과) 를 구별하기 위한 엄격한 프레임워크를 제안합니다.

A. 실험 설계

1. 표적 교란 ($D_{targeted}$): 표준 개입 (예: 성별 교체, 스타일 변경).
2. 기준선 교란 ($D_{benign}$): 의미 변수를 변경하지 않고 표적의 표면적 변화를 모방하도록 설계된 대조 조건.
   • 토큰 조정 개사 (Token-Adjusted Paraphrase): 주요 기준선. LLM 이 의미를 보존하지만 표적 교란의 토큰 편집 비율과 일치하는 비율의 토큰을 변경하도록 입력을 개사합니다. 이는 모델 민감도가 변경된 토큰 수에 비례한다는 발견을 통제합니다.
   • 고정 문장 (Fixed Sentence): 보조 기준선으로, 프롬프트에 주제와 무관한 문장을 앞에 추가합니다.
3. 통계적 검정: 원시 지표를 비교하는 대신, 저자들은 표적 조건에서의 발산이 기준선 조건에서의 발산을 통계적으로 유의미하게 초과하는지 여부를 결정하기 위해 통계적 검정을 사용합니다.
   • 샘플 단위 지표: 표적 및 기준선 발산 값 간의 차이에 대한 짝지은 t-검정 (Paired t-tests).
   • 집계 지표: 집계 통계량의 차이에 대한 비모수 부트스트랩 검정.
   • 회귀: 방향성 가설을 위해 사용되며, 체계적 효과의 크기와 부호를 추정합니다.

B. 평가된 지표

이 논문은 출력 발산을 정량화하기 위해 세 가지 범주의 지표를 평가합니다.

1. 집계 지표 (Aggregate Metrics):
   • 반전율 (Flip Rate): 범주형 답변이 변경된 사례의 비율.
   • 상호 정보 (Mutual Information, MI): 조건 간 응답 일관성을 측정합니다.
   • 피 계수 ($\phi$): 일치를 체계적 불일치와 구별합니다.
   • 한계: 이러한 지표는 통계적 검정력 (power) 이 낮으며, 클래스 불균형 하에서 퇴화할 수 있습니다.
2. 샘플 단위 분포 지표 (Per-Sample Distributional Metrics):
   • 쿨백 - 라이블러 (KL) 발산: 답변 옵션에 대한 확률 분포의 이동을 측정합니다.
   • 젠센 - 샤논 발산 (JSD): KL 의 대칭적이고 유계인 변형입니다.
   • 장점: 이러한 지표는 최종 결정 경계가 교차되지 않더라도 미묘한 분포 이동을 포착합니다.
3. 회귀 계수:
   • 교란이 부호화된 인코딩을 가질 때 (예: 여성은 +1, 남성은 -1) 방향성 이동 ($\beta$) 을 추정합니다. 이는 편향의 크기와 방향을 모두 특징짓습니다.

3. 주요 기여

1. 방법론적 교정: 크기 일치 기준선이 없으면 반사실적 결과는 해석 불가능함을 입증합니다. 관찰된 효과는 종종 특정 요인 민감도가 아닌 일반 프롬프팅 민감도를 반영합니다.
2. 프레임워크 제안: 토큰 일치 개사 기준선에 대한 표적 교란을 비교하는 통계적 검정 프레임워크를 도입합니다.
3. 지표 분석: **샘플 단위 분포 지표 (JSD, KL)**와 회귀가 집계 지표 (반전율, MI, $\phi$) 보다 특히 불균형 데이터셋에서 통계적으로 훨씬 더 강력한 검정력을 가진다는 것을 실증적으로 증명합니다.
4. 오픈 소스: 이 프레임워크를 구현한 Python 패키지인 cfprompt를 공개합니다.

4. 주요 결과

A. MedPerturb(의료 편향) 재검토

• 원래 주장: 이전 연구는 LLM 이 의료 분류에서 환자 성별 및 스타일 단서에 매우 민감하다고 주장했습니다.
• 새로운 발견: 토큰 일치 개사 기준선과 비교했을 때:
  • 성별 교란: 관찰된 효과 (예: 성별 교체에 대한 14.9% 반전율) 는 기준선 개사 효과 (14.1%) 와 통계적으로 구별 불가능했습니다.
  • 결론: 120 건의 테스트 중 5 건만 유의미한 수준에 도달했습니다 (모두 작은 모델에서 "화려한" 스타일 교란과 관련됨). 모델이 환자 성별에 특히 민감하다는 주장은 largely 지지받지 못하며, 이러한 효과는 일반 텍스트 민감도에서 비롯된 노이즈일 가능성이 높습니다.

B. 건전성 검사 (Sanity Checks)

• 재현성 (양성 대조): 작업이 명시적으로 "이 환자가 남성입니까?"로 변경되었을 때, 프레임워크는 거대하고 유의미한 효과를 올바르게 감지하여 지나치게 보수적이지 않음을 입증했습니다.
• 정밀도 (음성 대조): 환자의 나이를 1 년 변경하는 것 (최소 교란) 은 기준선과 비교하여 유의미한 효과를 생성하지 않았으며, 이는 프레임워크의 특이성을 확인시켜 주었습니다.

C. Bias-in-Bios(직업 편향)

• 맥락: 모델이 "교수"를 남성과, "간호사"를 여성과 연관시키는지 테스트합니다.
• 발견:
  • 집계 지표: 작고 barely 유의미한 반전율 (예: +0.7%) 을 보여주어 "편향 없음"이라는 잠재적 결론으로 이어졌습니다.
  • 샘플 단위 지표 (JSD/KL): 통계적으로 유의미한 분포 이동 ($p \approx 10^{-7}$) 을 감지했습니다.
  • 회귀: 명확한 방향성 편향($\hat{\beta} \approx -0.5$) 을 드러냈으며, 이는 생기를 여성으로 교체하는 것이 "교수" 레이블의 로그 오즈 (log-odds) 를 체계적으로 감소시킨다는 것을 나타냅니다.
  • 통찰: 편향은 존재하지만 결정 경계 아래에서 작동합니다 (이진 답변을 반전시키지 않고 로그이트가 이동함). 회귀와 분포 지표만이 이를 특징지을 수 있었습니다.

D. Q-Pain 복제 (인종 편향)

• 통증 관리에 대한 인종적 불평등에 대한 연구를 복제하면서, 저자들은 5 가지 유의미한 인구통계학적 효과 중 4 가지가 해당하는 유의미한 기준선 효과 (개사) 를 가지고 있음을 발견했습니다. 이는 인종 편향에 대한 원래 발견이 일반 텍스트 민감도와 혼동되었을 가능성을 시사합니다.

5. 중요성 및 실용적 지침

이 논문은 LLM 평가에서 반사실적 프롬프팅이 수행되어야 하는 방식을 근본적으로 변화시킵니다.

• "영 (Null)" 기준선은 필수적입니다: 연구자들은 "영" 분포를 확립하기 위해 기준선 교란 (특히 토큰 일치 개사) 을 포함해야 합니다. 이것이 없으면 "편향" 발견은 프롬프팅 민감도의 인공물일 수 있습니다.
• 지표 선택이 중요합니다:
  • 검정력이 부족하고 클래스 불균형 하에서 실패하는 반전율이나 MI에만 의존하지 마십시오.
  • 분포 이동을 감지하려면 JSD/KL을 사용하십시오.
  • 효과의 방향과 크기를 정량화하려면 회귀를 사용하십시오.
• 토큰 일치: 기준선은 모델 민감도가 편집 크기에 비례하므로 표적 교란이 변경한 토큰 수와 일치해야 합니다.
• 시사점: 많은 이전의 LLM 편향 또는 불충분한 충실도에 대한 주장은 과장되었거나 잘못 귀속되었을 수 있습니다. 실제 미묘한 편향은 존재합니다 (Bias-in-Bios 에서 보인 바와 같이) 하지만 이를 감지하려면 더 정교한 통계 도구가 필요합니다.

요약하자면, 이 논문은 반사실적 프롬프팅이 "플러그 앤 플레이" 진단 도구가 아님을 주장하며, 신호 (진정한 요인 민감도) 와 노이즈 (일반 프롬프팅 민감도) 를 분리하기 위한 엄격한 통계적 통제가 필요하다고 역설합니다.