Can Fairness Be Prompted? Prompt-Based Debiasing Strategies in High-Stakes Recommendations

이 논문은 고위험 추천 시스템에서 대규모 언어 모델 (LLM) 의 편향을 완화하기 위해 모델 가중치 접근 없이도 적용 가능한 경량 프롬프트 기반 편향 제거 전략을 제안하며, 실험을 통해 제안된 방법이 추천 효과성을 유지하면서 공정성을 최대 74% 까지 향상시킬 수 있음을 입증했습니다.

핵심

이 논문은 **"대형 언어 모델 (LLM) 이 추천을 할 때, 우리가 직접 말하지 않아도 이름이나 성별 대명사 (그/그녀) 같은 단서만으로 성별이나 나이를 추측해 편향된 결과를 내는 문제를 해결할 수 있을까?"**라는 질문에 답하는 연구입니다.

연구진은 이 문제를 해결하기 위해 모델의 복잡한 코드를 수정하거나 재학습시킬 필요 없이, 단순히 "지시문 (프롬프트)"을 바꾸는 것만으로도 공정성을 높일 수 있는지 실험했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🍎 1. 문제 상황: 편견 있는 바리스타와 커피 주문

상상해 보세요. 거대한 데이터로 훈련된 **초고급 바리스타 (LLM)**가 있습니다. 이 바리스타는 고객에게 맞는 커피 (추천 콘텐츠) 를 만들어줍니다.

• 문제: 고객이 "저, 이 사람"이라고만 말하면 (중립적), 바리스타는 평소 취향대로 커피를 줍니다. 하지만 고객이 "저, 그녀입니다"라고 말하면 (성별 정보 포함), 바리스타는 무의식적으로 "아, 여자분이시군요. 아마도 꽃차나 달콤한 음료를 좋아하시겠지?"라고 추측해서, 실제로는 커피를 좋아할 수도 있는 고객에게 꽃차를 추천합니다.
• 결과: 이렇게 되면 특정 성별이나 나이에 따라 불공정한 추천이 이루어집니다. (예: 여성에게는 과학 관련 뉴스를 덜 보여주고, 남성에게는 리더십 관련 뉴스를 더 보여줌)

📜 2. 해결책: "공정한 바리스타"가 되는 주문서 (프롬프트)

기존의 해결책은 바리스타를 다시 교육하거나 (재학습), 바리스타의 뇌 (모델 가중치) 를 직접 뜯어고치는 것이었습니다. 하지만 이는 비용이 너무 많이 들고 일반인이 할 수 없습니다.

연구진은 **"단순히 주문할 때 쓰는 말 (프롬프트) 을 조금만 바꿔보면 어떨까?"**라고 생각했습니다.

그들은 세 가지 새로운 주문 방식을 실험했습니다:

1. 중립적 역할 부여: "당신은 성별, 나이와 상관없이 누구에게나 공정한 추천 시스템입니다."라고 말하기.
2. 편향 경고: "사용자의 성별이나 나이를 추측해서 편견을 가지지 않도록 주의하세요."라고 말하기.
3. 구체적 지시: "특히 [성별/나이] 에 대한 편향을 피해서 추천하세요."라고 구체적으로 말하기.

🧪 3. 실험 결과: "공정성"은 가능하지만, "과도한 수정"이라는 함정이 있다

연구진은 뉴스와 구직 (취업) 추천이라는 두 가지 중요한 상황에서 이 방법들을 테스트했습니다.

• 성공: 지시문을 통해 편향을 줄일 수 있었습니다. 어떤 경우에는 공정성이 74% 까지 향상되었습니다. 즉, "그녀"라고 했을 때와 "그"라고 했을 때 추천 결과가 훨씬 비슷해졌습니다.
• 새로운 문제 (과도한 수정): 하지만 흥미로운 부작용이 발견되었습니다. 바리스타가 "공정해야지!"라고 너무 열심히 생각한 나머지, 반대로 특정 그룹을 과도하게 챙기는 경우가 생겼습니다.
  • 비유: "여성을 차별하지 말아야지!"라고 생각한 바리스타가, 남성 고객에게도 무조건 여성 관련 뉴스를 과하게 추천하거나, 여성 고객에게는 여성 관련 뉴스만 쏟아부은 것입니다. 이를 **'과도한 조정 (Over-adjustment)'**이라고 합니다.

📊 4. 새로운 측정 도구: "단어 일치"가 아닌 "의미 일치"

기존에는 추천된 글자 (제목) 가 똑같은지 확인했습니다. 하지만 AI 가 만든 글은 단어가 조금씩 다를 수 있어 비교가 어렵습니다.

연구진은 BERTScore라는 새로운 측정기를 도입했습니다.

• 비유: 기존 방식은 "사과"와 "사과"만 같다고 점수를 줍니다. 하지만 새로운 방식은 "사과"와 "빨간 과일"이 의미상 비슷하면 점수를 줍니다. 이렇게 해야 AI 가 만든 다양한 표현을 공정하게 평가할 수 있습니다.

💡 5. 결론: "지시"는 강력한 도구지만 조심해야 한다

이 연구의 핵심 메시지는 다음과 같습니다.

1. 가능성: 복잡한 기술 없이, **단순히 "공정하게 해줘"라고 말해주는 것 (프롬프트)**만으로도 AI 의 편향을 크게 줄일 수 있습니다. 일반인도 쉽게 적용할 수 있는 방법입니다.
2. 주의점: 하지만 AI 가 지시문을 너무 맹목적으로 따르면, 오히려 특정 그룹을 과도하게 우대하는 '역차별' 같은 현상이 발생할 수 있습니다.
3. 미래: 앞으로는 AI 가 "공정함"을 어떻게 정의하고 적용하는지 더 세심하게 조절하는 연구가 필요하며, 우리가 만든 지시문이 AI 를 어떻게 변화시키는지 계속 지켜봐야 합니다.

한 줄 요약:

"AI 에게 '공정하게 해줘'라고 말하면 편견이 줄어들지만, 너무 열심히 하라고 하면 오히려 특정 그룹만 챙기는 '과잉 친절'이 생길 수 있으니, 지시문을 잘 조절해야 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• LLM 의 민감 속성 추론: 대규모 언어 모델 (LLM) 은 이름, 대명사, 문체와 같은 간접적인 단서를 통해 사용자의 성별, 나이 등 민감한 속성 (Sensitive Attributes) 을 추론할 수 있습니다.
• 암묵적 편향 (Implicit Bias): 이러한 추론된 속성은 추천 시스템 (RS) 의 출력에 편향을 일으켜, 특정 인구 통계 그룹 (예: 여성, 특정 연령대) 을 불리하게 대우하거나 과소/과대 대표할 수 있습니다. 특히 취업이나 뉴스 추천과 같은 고위험 (High-Stakes) 영역에서 이는 심각한 차별을 초래할 수 있습니다.
• 기존 방법의 한계: 기존 편향 제거 (Debiasing) 기법들은 대부분 LLM 의 가중치 (Weights) 에 접근하여 모델을 미세 조정 (Fine-tuning) 하거나 학습해야 하므로, 계산 비용이 높고 일반 사용자가 접근하기 어렵습니다. 또한, 기존 연구들은 주로 '아이템 (Item)'의 공정성에 초점을 맞췄지, '사용자 (User)' 그룹 간의 공정성에는 미흡했습니다.
• 연구 질문: 일반 사용자가 LLM 의 가중치 수정 없이, 프롬프트 (Prompt) 만으로 LLM 추천 시스템 (LLMRecs) 의 암묵적 사회인구학적 편향을 완화할 수 있는가?

2. 방법론 (Methodology)

연구진은 3 개의 LLM(Gemma 2, LLaMa 3.1, Mistral) 과 2 개의 고위험 데이터셋 (Microsoft News Dataset, Job Recommendation Dataset) 을 사용하여 실험을 수행했습니다.

A. 프롬프트 설계

사용자의 민감 속성을 명시적으로 입력하지 않고, 대명사 (pronoun) 나 사회적 역할 (social roles) 을 통해 암묵적으로 포함시키는 두 가지 변형을 생성했습니다.

1. 중립 변형 (Neutral Variant): "이 사용자 (this user)"로 지칭.
2. 민감 변형 (Sensitive Variant): 성별의 경우 {him, her, them}, 나이의 경우 {고등학생, 대학생, 부모, 직장인, 노인, 은퇴자} 와 같은 역할을 사용하여 프롬프트에 포함.

B. 편향 인식 프롬프트 전략 (Bias-aware Prompting Strategies)

기존 베이스라인 프롬프트를 기반으로 3 가지 편향 제거 전략을 제안했습니다.

1. Unbiased Role (UR): "성별, 나이 등 민감 속성을 기준으로 차별하지 않는 편향 없는 추천 시스템"이라는 역할을 부여.
2. Bias Instruction (BI): "추론되거나 명시된 사용자 특성에 기반한 잠재적 편향을 고려하고, 어떤 그룹에도 치우치지 않도록 공정한 추천을 하라"는 지시 포함.
3. Explicit Bias Instruction (EBI): BI 에 더해, 구체적인 민감 속성 (예: 성별) 에 대해 편향되지 않도록 명시적으로 지시.

C. 평가 지표

• 효과성 (Effectiveness): 추천된 아이템과 실제 정답 (Ground Truth) 간의 의미적 유사성을 측정하기 위해 BERTScore를 사용 (정확 일치보다 의미적 유사성이 중요하므로).
• 공정성 (Fairness): 중립 프롬프트와 민감 프롬프트가 생성한 추천 결과 간의 유사성을 측정하여 편향을 평가.
  • SNSR (Sensitive-to-Neutral Similarity Range): 민감 속성 값 간 유사성 범위의 최대 - 최소 차이 (차이가 클수록 불공정).
  • SNSV (Sensitive-to-Neutral Similarity Variance): 민감 속성 값 간 유사성의 표준 편차 (분산이 클수록 불공정).
  • 기타 지표: Jaccard, SERP, PRAG 와 함께 BERTScore를 기반으로 한 유사도 측정도 제안됨.

3. 주요 기여 (Key Contributions)

1. LLMRec 를 위한 경량 편향 인식 프롬프트 전략: LLM 의 가중치 수정 없이, 추론 단계 (Inference) 에서만 적용 가능한 3 가지 프롬프트 기반 편향 제거 방법을 제안했습니다. 이는 일반 사용자도 쉽게 활용할 수 있습니다.
2. 편향 제거의 과잉 조정 (Over-adjustment) 현상 분석: 편향 제거 프롬프트가 특정 소수 그룹 (예: 여성) 을 오히려 과도하게 우대하는 '역차별' 또는 '과도한 조정' 현상을 발견하고 이를 문서화했습니다.
3. 의미 기반 공정성 평가 프레임워크: 기존 연구에서 사용된 어휘적 유사도 (Lexical Similarity) 대신, BERTScore를 활용하여 LLMRec 의 자유형 텍스트 출력 간 의미적 유사성을 평가하는 새로운 방식을 도입했습니다.

4. 실험 결과 (Results)

• 공정성 향상: 제안된 편향 인식 프롬프트 (특히 BI 와 EBI) 는 베이스라인 대비 최대 74% 까지 공정성 (SNSV/SNSR) 을 개선했습니다. (예: LLaMa 모델 + BI 프롬프트 + 직업 추천 + 나이 속성)
• 효과성 유지: 공정성을 높이는 과정에서 추천의 효과성 (F1 Score) 은 크게 저하되지 않았습니다.
• 모델 및 속성별 차이:
  • 성별 vs 나이: 뉴스 추천에서는 나이가, 직업 추천에서는 성별이 더 큰 편향을 유발하는 경향이 있었습니다.
  • 모델별 차이: LLaMa 와 Mistral 은 편향 지시 프롬프트 (BI, EBI) 에 잘 반응했으나, Gemma 는 역할 프롬프트 (UR) 나 베이스라인이 나이에 따라 더 좋은 결과를 보이기도 했습니다.
• 과잉 조정 (Over-adjustment) 발견:
  • 특히 EBI 프롬프트에서 'her(그녀)'를 입력했을 때, LLM 은 여성 관련 뉴스 (여성 운동, 여성 업적 등) 를 과도하게 추천하는 경향을 보였습니다.
  • 이는 편향을 제거하려다가 오히려 특정 그룹을 과도하게 우대하는 '역차별' 현상이 발생할 수 있음을 시사합니다.
• 평가 지표의 유효성: BERTScore 는 단순 단어 일치 (Jaccard) 보다 LLM 이 생성한 다양한 표현을 가진 추천 결과 간의 의미적 유사성을 더 잘 포착하여 공정성 평가에 더 적합함을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 고위험 추천 시스템에서 LLM 의 가중치 접근 없이도, 프롬프트 엔지니어링만으로 공정성을 개선할 수 있는 경량 솔루션을 제시했습니다.
• 새로운 통찰: 편향 제거가 항상 완벽한 균형을 의미하지는 않으며, 오히려 특정 그룹에 대한 과잉 보정 (Over-promotion) 을 초래할 수 있음을 경고했습니다.
• 미래 방향: 향후 연구에서는 BERTScore 를 순위 위치에 따른 의미적 유사성으로 확장하고, 과잉 조정 현상을 방지하는 전략을 개발하여 다른 편향 완화 기법들과 비교 분석할 필요가 있습니다.

이 논문은 LLM 기반 추천 시스템의 공정성 문제를 해결하기 위해 가볍고 접근성 높은 프롬프트 기반 접근법의 가능성을 입증함과 동시에, 그 한계 (과잉 조정) 에 대한 중요한 통찰을 제공했다는 점에서 의의가 큽니다.