Proxy reliance in large language model decisions is uncalibrated to predictive evidence

현대 사회에서 알고리즘은 대출 승인 여부를 결정하는 것부터 어떤 병원 환자를 먼저 치료해야 하는지를 결정하는 것에 이르기까지, 사람들에 대한 중대한 결정을 내리도록 점점 더 많이 요구받고 있습니다. 이러한 시스템이 방대한 양의 텍text를 학습한 강력한 컴퓨터 프로그램인 거대 언어 모델을 사용하여 구축될 때, 공정성의 문제는 복잡해집니다. 법은 일반적으로 의사결정자가 좋은 결과를 예측하는 데 도움이 된다면 정보를 사용하는 것을 허용합니다. 예를 들어 환자의 혈압을 사용하여 심장마비 위험을 예측하는 경우입니다. 그러나 인종이나 성별과 같은 보호된 특성을 단순히 대신하는 정보(proxy)를 사용하는 것은, 설령 그 정보가 통계적으로 유용하더라도 금지됩니다. 이를 대리 차별(proxy discrimination)이라고 합니다. 문제는 한 가지 데이터, 예를 들어 사람의 거주 지역이 정당한 의료적 지표인 동시에 인종을 나타내는 숨겨진 신호가 될 수도 있다는 점에 있습니다. 알고리즘이 공정한지 테스트하는 현재의 방법들은 종-종 단순한 확인 절차에 의존합니다. 즉, 프롬프트에서 사람의 인종을 바꿨을 때 결정이 바뀐다면 그 시스템은 편향되었다고 판단하는 것입니다. 하지만 이 접근 방식은 현실의 미묘한 차이를 놓치고 있습니다. 합리적인 의사결정자라면 새로운 정보가 진정으로 유용할 때 생각을 바꾸어야 하며, 결코 생각을 바꾸지 않는 시스템은 공정한 것이 아니라 오히려 중요한 증거를 무시하고 있는 것일 수 있기 때문입니다.

오사카 대학교의 연구진들은 단순한 예/아니오 식의 확인을 넘어, 알고리즘이 특정 단서에 얼마나 의존해야 하는지를 더 정밀하게 측정함으로써 이 문제를 해결하고자 했습니다. 그들은 모든 환자와 모든 결과에 대한 정확한 진실을 알고 있는 시뮬레이션 세계를 구축하여, 주어진 정보에 대해 완벽하게 의존해야 하는 양을 계산할 수 있게 했습니다. 이 통제된 환경에서 연구진은 네 가지 서로 다른 거대 언어 모델에게 트리아지(triage, 환자 분류) 전문가 역할을 맡겨, 시뮬레이션된 환자 쌍의 치료 우선순위를 매기게 했습니다. 환자들은 수치적 지표들로 묘ක사되었는데, 이 중 일부는 정당한 의료적 신호였고, 다른 일부는 보호된 속성과 상관관계는 있지만 실제 의료적 가치는 없는 '대리(proxy)' 변수였습니다. 연구진은 모델의 행동을 동일한 정보를 가진 완벽하게 합리적인 의사결정자가 수행할 행동이라는 수학적 표준과 비교할 수 있었습니다.

연구 결과, 모델이 가용한 증거와 실제로 그것을 사용하는 방식 사이에 놀라운 괴리가 있음이 드러났습니다. 연구진이 모델에게 예측 가치가 전혀 없는 단서들을 주었을 때도, 모델들은 여전히 그 단서들에 의존하며 쓸모없는 정보를 마치 중요한 것처럼 취급했습니다. 이는 제공자가 누구인지와 상관없이 테스트된 네 가지 모델 모두에서 일관되게 나타난 현상이었습니다. 단서들이 진정으로 유용할 때도 모델들은 증거의 강도에 맞춰 의존도를 조절하지 않았습니다. 대신, 모델들은 높은 수준의 양(+)의 기본 의존도를 유지하며, 증거의 예측 가치가 커짐에 따라 증거를 심각하게 추적하지 못했습니다. 즉, 모델들은 데이터를 경청하는 것이 아니라, 변화하는 상황을 무시하는 경직된 내부 스크립트를 따르고 있었던 것입니다. 이는 어떤 시스템이 특정 테스트에서는 공정해 보일지라도, 증거가 더 강력하거나 약해지는 실제 상황과 일치하지 않는다면 다른 테스트에서는 매우 결함이 있을 수 있음을 의미합니다.

연구진은 데이터 필드의 이름을 바꾸는 것이 이러한 행동을 막을 수 있는지 조사했습니다. 연구진이 대리 단서들에 '거주 지역'이나 '직업'과 같이 사회적으로 민감한 용어를 라벨로 붙였을 때, 모델들은 이들에 대한 의존도를 줄였습니다. 이것은 언뜻 보면 안전 장치처럼 보였습니다. 그러나 연구 결과, 이러한 억제 효과는 취약하며 쉽게 깨질 수 있다는 것이 밝혀졌습니다. 연구진이 모델이 과업을 이해하도록 돕기 위해 프롬프트에 예시를 추가했을 때(이는 실제 응용 분야에서 흔히 쓰이는 방식입니다), 모델들은 즉시 사회적 라벨에 다시 의존하기 시작했으며, 이름이 주는 보호 효과를 완전히 무시하는 경우가 많았습니다. 다만, 예시가 제공된 여섯 가지 사례 중 세 가지 사례에서 사회적 라벨과 중립적 라벨 사이의 대비가 지속되었다는 점은, 억제 효과가 완전히 사라진 것은 아니지만 상당히 약화되었음을 나타냅니다. 이는 모델의 외견상 안전함이 깊고 신뢰할 수 있는 공정성에 대한 이해가 아니라, 특정 어구에 대한 표면적인 반응임을 시사합니다. 즉, 맥락을 바꾸는 것만으로도 모델을 불공정한 행동을 하도록 속일 수 있다는 것입니다.

나아가 연구는 모델의 결정 정확도가 정보를 공정하게 사용하고 있는지를 나타내는 신뢰할 만한 지표가 아님을 보여주었습니다. 모델은 옳은 이유로 옳은 선택을 할 수도 있고, 틀린 이유로 틀린 선택을 할 수도 있으며, 결과적으로는 동일한 점수를 얻을 수도 있습니다. 어떤 경우에는 더 많은 데이터를 추가하여 과업을 어렵게 만드는 것이 모델이 불공정한 대리 변수에 더 많이 의依赖하게 만들기도 했고, 다른 경우에는 의존도를 낮추기도 했습니다. 이러한 불일치는 단순히 모델의 정확성을 확인하는 것만으로는 차별 여부를 알 수 없음을 의미합니다. 연구진은 모델이 접하는 데이터 포인트의 개수와 모델이 이를 사용하는 방식 사이의 관계가, 그 데이터 포인트들이 서로 어떻게 연결되어 있는지에 따라 전적으로 달라진다는 것을 발견했습니다. 그리고 이 연결 방식은 실제 의료 데이터에서 매우 다양하게 나타납니다.

궁극적으로, 이 연구는 현재의 인공지능 감사 방법론이 실제 현장의 복잡성을 다루기에 불충분함을 입증합니다. 이 연구는 증거가 무엇을 요구하는지에 대한 알려진 표준 없이는, 모델이 공정한 것인지 아니면 단순히 유용한 데이터를 무시하고 있는 것인지 구별하는 것이 불가능하다는 것을 증명합니다. 연구 결과는 이러한 모델들의 가장 안전해 보이는 구성들—단순한 테스트에서 가장 편향에 강해 보이는 것들—이 실제 병원이나 은행에서 어떻게 행동할지를 나타내는 데에는 가장 부적절할 수 있음을 시사합니다. 연구는 우리가 이 시스템들을 진정으로 이해하고 규제하기 위해서는, 단순히 편향에 대한 체크를 넘어, 알고리즘이 특정 정보에 대한 의존도가 해당 정보의 실제 가치와 일치하는지를 측정하는 방법을 개발해야 한다고 결론짓습니다. 우리가 그렇게 할 수 있을 때까지, 우리는 시스템이 합리적이라는 이유로 처벌하거나, 더 위험하게는, 세상에 대한 취약한 이해를 바탕으로 은밀하게 불공정한 결정을 내리고 있는 시스템을 신뢰하게 될 위험이 있습니다.