Identifying Harm in Personalized, Generative AI Systems Requires User-Centered Auditing at the Interaction Level

당신이 한 말들을 모두 기억하고, 당신의 취향을 학습하며, 당신에게 완벽하게 맞추기 위해 자신의 성격까지 서서히 재형성하는 기계와의 대화를 상상해 보십시오. 이것은 개인화된 생성형 인공지능이 약속하는 바입니다. 이 기술은 챗봇과 글쓰기 보조 도구에서 나타나며, 과거의 상호작용을 바탕으로 어조, 스타일, 조언을 조정합니다. 고정된 답변 목록 중에서 단순히 선택만 하던 기존의 컴퓨터 프로그램과 달리, 이 새로운 시스템들은 사용자와의 관계가 깊어짐에 따라 행동을 변화시키며 완전히 새로운 응답을 즉석에서 만들어냅니다. 이러한 적응성은 상호작용을 더 유의미하게 느껴지게 만들지만, 동시에 숨겨진 위험을 초래하기도 합니다. 즉, 어떤 사람에게는 도움이 된다고 느껴지는 바로 그 요소가 다른 사람에게는 상처를 주거나 소외감을 느끼게 할 수 있으며, 이러한 해악은 단 한 번의 테스트가 아니라 몇 주 또는 몇 달간의 대화 후에야 비로소 나타나는 경우가 많습니다.

연구자들은 오랫동안 시뮬레이션을 통해 컴퓨터에 같은 질문을 반복적으로 던져 편향되거나 공격적인 답변을 내놓는지 확인함으로써 인공지능의 문제를 찾고 해결하려 노력해 왔습니다. 이 방법은 특정 도시를 항상 틀리게 표시하는 지도처럼 정적인 오류를 찾는 데는 효과적입니다. 그러나 마이크로소프트 리서치와 스탠퍼드 대학교의 한나 차(Hannah Cha)가 발표한 새로운 논문은 이러한 접근 방식이 개인화된 시스템에서 발생하는 실제적인 해악을 포착하는 데 실패하고 있다고 주장합니다. 이 연구는 기계가 사용자와 함께 진화하기 때문에, 무엇이 해로운지에 대한 정의 자체가 시간이 흐름에 따라 변하며, 심지어 같은 배경을 공유하는 사람들 사이에서도 크게 달라질 수 있음을 시사합니다. 연구진은 개인화를 더욱 심화시켜 문제를 해결하려는 시도가 오히려 소외된 집단에게 상황을 악화시킬 수 있다는 점을 발견했습니다. 이는 그들이 안전하게 작동하는 기계를 얻기 위해 자신의 고통을 설명하거나 너무 많은 사적인 정보를 드러내야 하는 추가적인 노동을 강요하게 만들기 때문입니다.

문제의 핵심은 우리가 현재 해악을 측정하는 방식에 있습니다. 기존의 대부분의 테스트는 해로운 출력을 자동차가 도로를 달리기 전에 식별할 수 있는 고장 난 부품처럼, 고정된 객체로 가정합니다. 하지만 연구진은 개인화된 AI의 세계에서 해악은 '잘못되어 가는 대화'와 같다고 주장합니다. 연구실의 연구자에게는 무해해 보이는 응답이, 시스템과의 특정한 이력을 가진 사용자에게는 깊은 불쾌감을 줄 수 있습니다. 예를 들어, 기계가 처음에는 도움이 되는 것처럼 보이는 음식 추천을 시작할 수 있지만, 몇 달간의 상호작용 끝에 사용자는 그 제안이 자신의 문화에 대한 고정관념에 기반하고 있다는 것을 깨닫게 될 수 있으며, 이는 도움을 주려는 몸짓을 미세한 공격(microaggression)으로 변질시킵니다. 이러한 해악은 단일한 실수에서 비롯되는 것이 아니라 관계의 흐름 속에서 나타나기 때문에, 기계를 고립된 상태로 검사하는 전통적인 테스트는 위험을 전혀 포착하지 못합니다.

나아가, 이 논문은 현재의 방식들이 사람들을 마치 모두가 똑같이 느끼는 것처럼 집단으로 취급한다는 점을 지적합니다. 감사(audit) 과정에서는 흔히 시스템이 "여성"이나 "흑인"이라는 집단 전체를 공정하게 대하는지를 확인합니다. 그러나 연구진은 어떤 단일 집단 내에서도 사람들은 서로 다른 삶, 서로 다른 트라우마, 서로 다른 경계를 가지고 있음을 보여줍니다. 한 공동체의 어떤 사람이 불쾌하게 느끼는 것을 다른 사람은 괜찮다고 느낄 수 있고, 제삼자는 아예 알아차리지 못할 수도 있습니다. 시스템이 특정 집단의 평균적인 행동을 학습하려고 할 때, 이는 복잡한 차이점들을 해당 집단의 단일하고 단순화된 버전으로 평면화해 버릴 수 있습니다. 이는 기계가 공동체의 가장 지배적인 목소리의 선호도를 학습하고 나머지는 무시하게 만들어, 결과적으로 그들의 독특한 경험을 지워버리는 상황을 초래할 수 있습니다.

연구진은 또한 매력적인 해결책을 탐구했습니다. 만약 기계가 각 개별 사용자가 무엇을 해롭다고 느끼는지 정확히 학습한다면 어떨까요? 이것이 이상적으로 들리기는 하지만, 논문은 이것이 불공정한 부담을 지운다고 주장합니다. 기계에게 무엇이 아픈지를 가르치기 위해서 사용자는 모든 실수를 계속해서 지적해야 하며, 이는 지속적인 감정적 노동을 요구합니다. 이미 기계의 기본 설정과 다른 경험을 가진 사람들에게 이는, 시스템을 바로잡기 위해 스스로가 '헤비 리프팅(heavy lifting, 힘든 일)'을 해야 함을 의미하며, 기본 설정에 부합하는 사람들은 아무런 노력 없이 매끄러운 경험을 누리는 것과 대조됩니다. 또한, 기계에게 가르치기 위해 사용자는 자신의 정체성이나 과거의 상처에 관한 민감한 세부 사항을 밝혀야 할 수도 있으며, 이는 고통을 견디거나 개인 정보를 넘겨주는 것 중 하나를 선택해야 하는 프라이버시의 덫을 만듭니다. 이러한 역학 관계는 가장 취약한 사용자들이 기술로부터 완전히 멀어지게 만들 위험이 있습니다.

이러한 시스템을 설계할 때, 연구진은 기계가 사용자의 의도를 완벽하게 추측하는 능력을 키우는 대신, 설계의 관점을 전환할 것을 제안합니다. 저자는 사용자가 사후에만 반응하는 것이 아니라, 해악이 발생하는 즉시 목소리를 낼 수 있는 인프라를 구축할 것을 제안합니다. 여기에는 사용자가 특정 응답을 문제가 있다고 표시하고 그 이유를 설명할 수 있는 도구가 포함되며, 이때 시스템은 한 사람의 불만이 모두에게 적용되는 최종적인 진실이라고 가정하지 않습니다. 결정적으로, 이 시스템은 사용자들이 자신의 공동체 내 다른 사람들이 유사한 상황을 어떻게 해석했는지 볼 수 있게 하여, 공유된 설명이 자신의 경험과 공명하는지 판단할 수 있도록 도와줄 것입니다. 목표는 기계가 은밀하게 학습하고 사용자가 수동적으로 받아들이는 모델에서 벗어나, 사용자가 기계의 적응 방식에 대해 통제권을 갖는 파트너십으로 나아가는 것입니다.

연구진은 이러한 접근 방식이 간단한 해결책이 아님을 인정합니다. 이는 종종 불투명한 시스템에 대한 신뢰를 구축하는 것을 요구하며, 공동체 내의 상충하는 의견을 어떻게 다룰 것인가라는 어려운 문제를 제pp합니다. 만약 한 사람이 어떤 발언이 해롭다고 말하고 다른 사람이 그것이 괜찮다고 한다면, 시스템은 단 하나의 정답을 강요하지 않고 두 가지 진실을 모두 수용할 수 있어야 합니다. 이 논문은 이러한 기술적 과제들을 해결했다고 주장하는 것이 아니라, 정적인 테스트와 깊은 개인화라는 현재의 경로가 불충분하다는 점을 강조합니다. 해악을 사용자의 이력과 맥락에 의해 형성되는 유동적이고 진화하는 과정으로 인식함으로써, 우리는 인간 경험의 복잡성을 단순화하는 대신 이를 존중하는 AI를 설계하기 시작할 수 있습니다. 궁극적인 결론은, 개인화된 세상에서 사용자를 보호하기 위해서는 기계가 스스로 올바른 교훈을 배우기를 막연히 바라는 것이 아니라, 대화 속에서 사용자에게 목소리를 부여하는 것이 필요하다는 것입니다.