Mechanics of Bias and Reasoning: Interpreting the Impact of Chain-of-Thought Prompting on Gender Bias in LLMs

기술 요약: 편향과 추론의 메커니즘: 체인 오브 생각 프롬프팅이 LLM 의 성별 편향에 미치는 영향 해석

문제 제기
대규모 언어 모델 (LLM) 은 사회적 민감도가 높은 맥락에서 점점 더 많이 배포되고 있지만, 여전히 성별 편향을 인코딩하고 확산시키고 있습니다. 체인 오브 생각 (CoT) 프롬프팅은 단계별 추론을 장려함으로써 이러한 편향을 완화하는 메커니즘으로 제안되었지만, 기존 평가는 주로 벤치마크 성능 지표에 의존합니다. 이러한 지표는 종종 내부 편향 메커니즘의 진정한 감소와 피상적인 정렬 또는 벤치마크 준수를 구분하지 못합니다. 따라서 CoT 프롬프팅이 모델이 성별 편향을 인코딩, 처리, 발현하는 방식을 근본적으로 바꾸는지, 아니면 관찰된 개선이 단순히 데이터셋 친숙도와 암기에 따른 산물인지 여부는 여전히 불분명합니다.

방법론
저자들은 벤치마크 기반 평가, 기계적 해석 가능성, 그리고 추론 체인 실패 분석을 결합한 체계적인 연구를 제시합니다. 실험 설정은 다음과 같습니다:

1. 데이터셋 및 모델: 이 연구는 BBQ, StereoSet, CrowS-Pairs, SocioEconomicQA 네 가지 성별 편향 벤치마크를 통해 Qwen2.5-7B, Qwen2.5-32B, QwQ, Llama3-8B, Mistral-7B 등 다섯 가지 LLM 을 평가합니다. 프롬프트는 고정관념적, 고정관념 반대적, 그리고 "알 수 없음" (거부) 옵션을 가진 객관식 질문 형식으로 구성됩니다.
2. 조건: 모델은 두 가지 조건 하에서 테스트됩니다: 표준 프롬프팅과 제로샷 CoT 프롬프팅 ("Let's think step by step"을 추가).
3. 기계적 해석 가능성:
   • 고정관념 주의 점수 (SAS): 이전 연구에서 적응된 이 지표는 특정 어텐션 헤드 전반에 걸쳐 고정관념적 토큰 대 고정관념 반대적 토큰으로 향하는 어텐션 가중치를 정량화합니다. 저자들은 편향이 집중된 어텐션 헤드 클러스터를 식별합니다.
   • 잠재 상태 프로빙: 추론 체인에서 추출된 잠재 상태에 대해 선형 프로브 (2 층 MLP) 를 훈련시켜 모델이 선택한 답변 유형 (고정관념, 고정관념 반대, 또는 알 수 없음) 을 예측합니다. 이는 출력이 편향 없이 보이는 경우에도 성별 편향 정보가 내부 표현에 여전히 인코딩되어 있는지 평가합니다.
4. 추론 체인 분석: 7 가지 추론 행동 유형 (추론 정확성, 거부, 분리, 태스크 해킹, 프롬프트 위반, 권위, 편향) 의 분류 체계가 개발되었습니다. 세 명의 저자가 257 개의 체인 샘플을 주석 달고, 이진 분류기를 훈련시켜 모든 모델과 데이터셋에 걸친 27,308 개의 추론 체인을 분석했습니다.

주요 기여

• 체계적 평가: 이 논문은 여러 모델과 데이터셋에 걸쳐 성별 편향 완화를 위한 CoT 의 효과를 종합적으로 평가하여, CoT 가 일관되게 편향을 감소시킨다는 가정에 도전합니다.
• 기계적 통찰: 어텐션 헤드 분석과 잠재 상태 프로빙을 성별 편향이라는 특정 맥락에 적용하여, CoT 를 사용하더라도 편향이 내부 표현에 지속됨을 밝힙니다.
• 추론 실패 분류 체계: 저자들은 새로운 분류 체계를 개발하고 적용하여 추론 체인 행동을 범주화하며, 진정한 추론과 편향된 출력을 초래하는 "태스크 해킹"이나 "분리"와 같은 행동들을 구분합니다.

결과

• 벤치마크 성능: CoT 프롬프팅은 편향 격차 (Diff-Bias) 를 일관되게 감소시키지 않습니다. 일부 모델 (Llama-8B, Mistral-7B) 의 거부율을 높였지만, 다른 모델 (Qwen 계열, QwQ) 에서는 성능을 저하시키거나 편향 점수를 높였습니다. 그 효과는 모델 아키텍처, 크기, 데이터셋에 크게 의존합니다.
• 어텐션 메커니즘: CoT 는 편향된 헤드를 억제하는 대신 어텐션을 균형 있게 조정함으로써 전역 고정관념 주의 점수 (SAS) 를 감소시킵니다. 그러나 특정 어텐션 헤드 클러스터 (예: Qwen-7B 의 경우 8~17 층 부근) 는 답변 선택에서 결정적인 역할을 하며, 그 활동은 CoT 에 의해 일관되게 억제되지 않습니다.
• 잠재 표현: 프로빙 실험은 CoT 사용 여부와 상관없이 모든 층의 잠재 상태에 성별 편향 정보가 여전히 인코딩되어 있음을 보여줍니다. 높은 프로브 충실도는 모델의 내부 상태가 여전히 편향된 경로와 편향되지 않은 경로 사이를 구분함을 시사하며, 이는 CoT 가 피상적인 완화만 제공함을 의미합니다.
• 추론 행동: 추론 체인 분석은 "추론 정확성"이 편향되지 않은 출력을 보장하지 않음을 보여줍니다. 편향된 답변은 종종 "분리" (일관성 없는 추론), "태스크 해킹" (프롬프트 문법 악용), 그리고 "권위"에 호소하는 것과 같은 행동들과 공존합니다.
• 데이터 오염: 이 연구는 데이터 오염의 증거를 확인합니다. 모델은 친숙한 데이터셋 (BBQ 등) 에서는 더 높은 거부율과 더 낮은 편향을 보이지만, 보지 못한 데이터 (SocioEconomicQA) 에서는 어려움을 겪습니다. 일부 경우, 추론 체인에는 훈련 데이터의 텍스트가 그대로 포함되어 있어, 표면적인 편향 완화는 진정한 추론이 아닌 암기에서 비롯되었음을 시사합니다.

의의 및 주장
이 논문은 CoT 프롬프팅이 LLM 이 성별 편향을 인코딩하고 발현하는 방식에 대한 근본적인 변화가 아닌 피상적인 행동 수정을 산출한다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 내부 편향의 지속: CoT 로 인한 출력 변화에도 불구하고, 성별 편향은 잠재 표현과 특정 어텐션 헤드 클러스터에 내재되어 있습니다.
2. 암기 대 추론: 편향 지표의 개선은 종종 데이터셋 친숙도와 암기 (데이터 오염) 에 기인하며, 사회적 편향에 대해 추론하는 모델의 능력에 기인하지는 않습니다.
3. CoT 의 한계: CoT 는 통계적 패턴에 의존하고 예외를 공식화하거나 사회적 편향의 암시적이고 비공식화 가능한 특성을 처리하는 데 어려움을 겪기 때문에 사회적 편향 완화를 위해서는 불충분합니다.
4. 더 깊은 완화의 필요성: 진정한 편향 완화는 모델 행동의 기반이 되는 암시적 표현을 표적으로 삼는 전략이 필요하며, "과도한 사고"나 회피적 응답을 장려할 수 있는 프롬프트 기반 추론 전략에만 의존해서는 안 됩니다.

저자들은 CoT 가 추론 정확도를 향상시킬 수는 있지만, 성별 편향을 신뢰할 수 있게 감소시키지는 않으며, 오히려 복잡하지만 결함이 있는 추론 패턴을 유발함으로써 특정 맥락에서는 편향을 악화시킬 수 있다고 결론지었습니다.