Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction
이 논문은 주택 배치 예측과 같은 고위험 사회 서비스 맥락에서 LLM 을 활용한 표적 분류를 감사한 결과, 캐스노트 요약본을 결합한 파인튜닝 모델이 정확도를 높이는 동시에 알고리즘적 불공정성을 감소시킬 수 있음을 보여주며, 제로샷 분류는 기존 표적 데이터의 편향을 추가로 악화시키지 않는다고 결론지었습니다.
상상해 보세요. 노숙인 지원 센터에는 수많은 사람들이 집을 구하러 옵니다. 사회복지사들은 각 사람과 대화하며 **"이 사람은 어떤 상태인지, 어떤 도움이 필요한지"**를 메모합니다. 하지만 이 메모들은 너무 많고 글로 되어 있어서, 사람이 일일이 다 읽어서 결론을 내기엔 너무 벅찹니다.
그래서 연구팀은 **"최고의 AI 중개인 (LLM)"**을 데려와서 이 메모들을 읽고, "이 사람에게 어떤 종류의 집 (노숙, 임시 숙소, 영구 주거 등) 을 배정해야 할까?"라고 예측하게 했습니다.
하지만 여기서 중요한 질문이 생깁니다. "이 AI 중개인도 인간처럼 성별이나 인종에 따라 차별을 할까?"
🔍 연구의 핵심 발견 3 가지
1. AI 를 훈련시키면 (Fine-tuning), 정확도는 오르지만 '차별'도 커질 수 있다
상황: AI 에게 과거의 실제 사례 데이터를 많이 보여주고 훈련시켰습니다.
결과: AI 가 집을 배정하는 정확도는 매우 높아졌습니다. 하지만 동시에 여성이나 소수자 그룹에 대한 불공정한 대우 (차별) 도 심해졌습니다.
비유: 마치 "과거에 남성들이 더 많이 집을 배정받았으니, AI 는 '남성이면 집을 잘 배정해 주는 게 맞구나'라고 배우게 된 것"입니다. 데이터에 편향이 있으면 AI 는 그 편향을 그대로 따라가서, 더 똑똑해질수록 불공정해지기도 합니다.
2. '메모 요약'을 추가하면, 불공정함을 줄일 수 있다
상황: AI 에게 단순히 숫자 데이터만 주는 게 아니라, 사회복지사가 쓴 '메모 내용 (케이스노트)'을 요약해서 함께 보여줬습니다.
결과:
훈련 안 된 AI (Zero-shot): 메모를 읽으니 상황을 더 잘 이해해서 정확도가 올랐습니다.
훈련된 AI (Fine-tuned): 메모를 읽으니 정확도는 조금 떨어졌지만, 성별이나 인종에 따른 불공정함이 크게 줄어들었습니다.
비유: AI 가 "과거 통계 (데이터)"만 믿고 판단할 때는 편견이 생기기 쉽지만, **"개인의 실제 이야기 (메모)"**를 읽으면 "아, 이 사람은 성별과 상관없이 정말 도움이 필요하구나"라고 더 공정하게 판단하게 됩니다. 메모는 AI 의 편견을 깨는 '양념' 같은 역할을 했습니다.
3. "가장 중요한 점만 봐!"라고 지시하면, 오히려 역효과가 난다
상황: AI 에게 "이 데이터 중 '2019 년 이전 최대 주거 수준'이라는 항목이 가장 중요하니까, 이거만 집중해서 봐!"라고 지시했습니다.
결과:
훈련 안 된 AI: 지시를 듣고 정확도가 올랐습니다.
훈련된 AI: 이미 스스로 중요한 점을 찾아내서 균형을 잡았는데, 갑자기 "이거만 봐!"라고 지시하니 오히려 불공정함이 심해졌습니다.
비유: 이미 요리를 잘하는 셰프 (훈련된 AI) 가 있습니다. 그런데 손님이 "소금만 더 많이 넣어!"라고 강요하면, 요리가 짜지고 맛이 망가집니다. 특히 그 '소금'이 과거의 불공정한 역사 (차별적 데이터) 와 연결되어 있다면, AI 는 그 불공정함을 더 부추기게 됩니다.
💡 결론: 우리가 무엇을 배웠나요?
AI 는 편견을 그대로 복사할 수 있습니다. 과거의 불공정한 데이터로 훈련하면, AI 는 더 똑똑해질수록 더 불공정해질 수 있습니다.
문자 (메모) 는 구원자가 될 수 있습니다. 숫자 데이터만으로는 보이지 않는 '개인의 상황'을 텍스트로 알려주면, AI 가 더 공정하게 판단할 가능성이 높아집니다.
무작정 지시하지 마세요. AI 에게 "가장 중요한 점만 봐"라고 강요하는 것은, 이미 훈련된 AI 에게는 오히려 독이 될 수 있습니다.
한 줄 요약:
"AI 를 집 배정에 쓸 때는, 단순히 과거 데이터만 믿지 말고 **개인의 실제 이야기 (메모)**를 함께 읽어주면, 더 정확하면서도 더 공정한 결정을 내릴 수 있습니다."
이 연구는 고위험 사회 서비스 (노숙인 지원 등) 에서 AI 를 쓸 때, 단순히 성능만 쫓지 말고 **공정성 (Fairness)**을 꼭 점검해야 한다는 중요한 메시지를 줍니다.
논문 요약: 사례 기록 (Casenote) 보강 표형 예측에서의 LLM 알고리즘적 공정성 감사
1. 문제 제기 (Problem)
배경: 대규모 언어 모델 (LLM) 이 고위험 사회 서비스 (예: 노숙자 지원, 주거 배치) 분야에서의 예측 작업에 점점 더 많이 활용되고 있습니다. 그러나 이러한 맥락에서의 LLM 의 알고리즘적 공정성 (Algorithmic Fairness) 에 대한 이해는 부족합니다.
도전 과제:
기존 표형 데이터 (Tabular data) 기반 예측은 인종, 성별 등 보호 속성에 따라 오류 편차를 보일 수 있습니다.
LLM 은 텍스트 데이터 (예: 비정형화된 사례 기록, Casenotes) 를 처리할 수 있지만, 이러한 텍스트가 기존 편향을 완화할지 아니면 새로운 편향을 도입할지 불확실합니다.
특히 주거 배치 결정에는 역사적 차별이 존재하므로, LLM 을 도입할 때 공정성 감사가 필수적입니다.
목표: 실제 비영리 단체의 노숙자 지원 사례 기록을 활용한 주거 배치 예측 작업에서 LLM 기반 분류의 성능과 공정성을 감사 (Audit) 하고, 텍스트 정보 (사례 기록 요약) 를 표형 데이터에 통합했을 때의 영향을 규명하는 것.
2. 방법론 (Methodology)
데이터셋: 2019~2021 년 동안 비영리 단체의 노숙자 지원 활동을 통해 수집된 471 명의 고객 데이터.
목표 변수 (Y): 2021 년까지 달성한 최고 주거 배치 수준 (0: 노숙, 1: 임시 시설, 2: 쉼터/과도기적 주거, 3: 영구 지원 주거).
특성 (Features): 인구통계학적 정보 (인종, 성별 등), 서비스 이력, 그리고 **비정형화된 사례 기록 (Casenotes)**에서 추출된 이진 지표.
실험 설계:
모델: Llama 3 (17B, 70B 파라미터) 와 Random Forest (기존 표형 모델 기준).
입력 방식:
Zero-shot: 사례 기록 요약 (Casenote summaries) 유무에 따른 프롬프트.
Fine-tuned: 해당 작업에 맞게 미세 조정된 모델.
Feature Importance: Random Forest 로 추출한 가장 중요한 특성 (2019 년 이전 최대 주거 배치) 을 프롬프트에 명시적으로 포함.
평가 지표:
성능: 정확도 (Accuracy), F1 점수, RMSE.
공정성: 다중 클래스 확장된 **통계적 균등 (Statistical Parity, SP)**과 기회 균등 (Equality of Opportunity, EoO). 이는 인종 (백인, 흑인, 기타) 과 성별 (남성, 여성) 하위 그룹 간 편차를 측정합니다.
3. 주요 기여 (Key Contributions)
실제 데이터 기반 LLM 감사: 실제 사회 서비스 사례 기록을 기반으로 한 주거 배치 예측 작업에서 17B 및 70B Llama 모델과 Random Forest 를 비교 평가했습니다.
미세 조정 (Fine-tuning) 의 공정성 역설 발견: 미세 조정은 전체 정확도를 높이지만, 불균형한 학습 데이터로 인해 소수 그룹 간의 편차를 악화시킬 수 있음을 입증했습니다.
프롬프트 증강 전략의 효과 분석:
사례 기록 요약: 정확도 향상 여부와 상관없이 공정성 격차 (Fairness gaps) 를 줄이는 데 기여할 수 있음을 보였습니다.
특성 중요도 (Feature Importance) 힌트: 단일 역사적 예측 특성을 강조하는 것은 오히려 역사적 편향을 강화하여 공정성을 해칠 수 있음을 발견했습니다.
4. 주요 결과 (Results)
요약 정보 없이 (Without Summaries):
성능: 미세 조정된 70B 모델이 가장 높은 정확도 (70.2%) 를 보였으나, Zero-shot 모델들은 성능이 낮았습니다.
공정성: 미세 조정된 70B 모델은 정확도는 높았지만, EoO(기회 균등) 편차가 가장 커서 성능 - 공정성 트레이드오프가 발생했습니다. 특히 여성 (데이터 내 소수) 에 대한 편향이 두드러졌습니다.
요약 정보 포함 (With Summaries):
Zero-shot 모델: 사례 기록 요약 추가는 정확도를 7.6%~13.9% 향상시켰습니다.
미세 조정 모델: 요약 정보는 정확도에는 큰 영향을 주지 않았거나 약간 감소시켰으나, 공정성 지표 (EoO Mean/Max) 를 크게 개선했습니다.
모델 크기 비교: 요약이 포함된 Zero-shot 상태에서는 작은 모델 (17B) 이 큰 모델 (70B) 보다 더 나은 공정성과 정확도를 보였으나, 미세 조정 후에는 70B 모델이 요약 정보를 더 효과적으로 활용하여 성능과 공정성 모두에서 우위를 점했습니다.
Random Forest vs LLM:
Random Forest 는 61.2% 의 합리적인 정확도를 보였으나, 공정성 편차가 가장 컸습니다.
요약 정보가 포함된 미세 조정된 70B LLM 은 Random Forest 보다 정확도가 높을 뿐만 아니라, 공정성 격차 (EoO Mean) 를 0.071 에서 0.021 로 크게 줄여 비정형 텍스트 정보의 통합이 편차 완화에 핵심임을 증명했습니다.
특성 중요도 (Feature Importance) 의 영향:
Zero-shot 17B 모델에 가장 중요한 특성을 명시하면 정확도는 올라가지만, 해당 특성이 역사적 불평등과 상관관계가 있어 공정성이 악화될 수 있습니다.
미세 조정된 70B 모델은 이미 학습을 통해 가중치를 배분했으므로, 특정 특성을 강조하는 프롬프트가 오히려 모델의 내부 균형을 깨뜨려 공정성을 해칠 수 있습니다.
5. 의의 및 결론 (Significance & Conclusions)
텍스트 편향의 부재: 이 연구에서 사용된 사례 기록은 짧고 민감한 정보가 많이 삭제 (Redacted) 되어 있어, 텍스트 자체가 표형 데이터의 편향 이상의 새로운 편향을 도입하지는 않는 것으로 나타났습니다.
실무적 시사점:
저비용 고효율: LLM 을 활용해 표형 데이터에 사례 기록 요약을 통합하는 것은 구현 부담이 적으면서도 추가 정보를 안전하게 활용할 수 있는 방법입니다.
공정성 우선 접근: LLM 을 고위험 사회 서비스 분야에 도입할 때는 단순히 정확도만 높이는 것이 아니라, 미세 조정 시 데이터 불균형으로 인한 편향 증폭을 주의해야 합니다.
전략적 활용: 요약 정보는 소수 그룹의 불이익을 완화하는 데 도움이 되지만, 특정 역사적 편향 특성을 강조하는 것은 피해야 합니다.
최종 결론: LLM 은 비정형 텍스트 정보를 효과적으로 통합하여 표형 모델만으로는 달성하기 어려운 정확도 향상과 공정성 개선을 동시에 이룰 수 있습니다. 그러나 이를 위해서는 지속적인 공정성 감사와 신중한 프롬프트 설계가 필수적입니다.