Socially Grounded Agentic AI: Coordinating Plural Perspectives through Social Theory

위대한 AI 저녁 파티

당신이 인공지능이 주최한 거대하고 혼란스러운 저녁 파티에 들어서고 있다고 상상해 보세요. 오랫동안 이 AI의 목표는 호스트가 가장 좋아하는 의견에 항상 동의하는 완벽하고 예의 바른 손님이 되는 것이었습니다. 만약 호스트가 "최고의 피자 토핑은 뭐야?"라고 묻는다면, AI는 단지 데이터상 가장 인기 있는 것이 무엇인지에 따라 "페퍼로니!"라고 답했을 것입니다. 하지만 여기에 문제가 있습니다. 현실 세계는 단 하나의 의견으로 이루어져 있지 않습니다. 어떤 사람들은 페퍼로니 알레르기가 있고, 어떤 이들은 파인애플이 범죄라고 생각하며, 어떤 이들은 그저 플레인 치즈 피자를 원하기도 합니다. 만약 AI가 단 하나의 답변만 내놓는다면, 의도치 않게 누군가의 기분을 상하게 하거나 중요한 규칙을 무시할 수도 있습니다.

이것이 바로 "AI 정렬(AI alignment)"의 세계, 즉 컴퓨터에게 인간이 실제로 원하는 바를 가르치는 과학의 영역입니다. AI가 점점 더 똑똑해지고 의료 예약 일정을 잡거나 학교 프로젝트를 돕는 것과 같은 실제적인 결정을 내리기 시작하면서, 기존의 "일률적인(one-size-fits-all)" 규칙은 더 이상 통하지 않습니다. 우리는 서로 다른 의견을 가진 다양한 사람들을 이해할 수 있는 AI가 필요합니다. 이 논문은 다음과 같은 큰 질문을 던집니다. 어떻게 하면 단순히 승자를 뽑는 것이 아니라, 서로 다른 견해를 가진 집단 전체가 함께 나아갈 길을 찾도록 돕는 AI를 만들 수 있을까? 저자들은 AI에게 단순히 규칙 목록을 프로그래밍하는 대신, 사람들의 직업, 역할, 사회적 관계가 그들의 의견을 어떻게 형성하는지 이해하는 '사회학자'처럼 행동하도록 가르쳐야 한다고 제안합니다.

---

논문: 사회적 코디네이터로서의 AI 교육하기

"사회적으로 접지된 에이전트형 AI(Socially Grounded Agentic AI)"라는 제목의 이 논문은 여러 관점을 다루는 AI 시스템을 구축하는 방식을 바꿔야 한다고 주장합니다. 저자인 매트 라토(Matt Ratto), 아비셰크 모투루(Abhishek Moturu), 다니엘 실버(Daniel Silver)는 현재의 방식이 복잡한 가족 간의 다툼을 해결하기 위해 단순히 모든 사람의 불만 사항을 화이트보드에 적어 놓는 것과 같다고 말합니다. 이는 매우 무질서하며, 왜 사람들이 다투는지, 혹은 어떻게 문제를 해결할 수 있는지 설명해주지 못합니다. 대신 그들은 사회 이론(사람들이 집단 내에서 상호작용하는 방식에 대한 연구)을 활용하여, 단순한 답변 기계가 아닌 숙련된 중재자처럼 행동하는 AI를 구축할 것을 제안합니다.

"의견을 나열하기"의 문제점

현재 많은 AI 시스템은 "오버턴 다원주의(Overton pluralism)"라고 불리는 방식을 통해 다양한 견해를 처리하려고 합니다. 선생님이 학급에 "현장 학습으로 어디가 좋을까?"라고 물었을 때, AI가 단순히 "해변", "박물관", "캠핑"이라고 옵션 목록을 뱉어내는 상황을 상상해 보세요. 이것은 선택지의 목록일 뿐, 누가 무엇을 왜 원하는지는 알려주지 않습니다. 논문은 이것이 너무 단순하다고 주장합니다. 이는 의견을 마치 양동이에 담긴 무작위 아이템처럼 취급하며, 사람들에게 특정한 직업과 역할이 그들의 생각을 형성한다는 사실을 간과합니다. 의사, 환자, 병원 행정가는 의료 처치에 대해 서로 다른 생각을 가질 수 있는데, 이는 그들이 무작위의 사람들이기 때문이 아니라 그들의 '역할'이 다르게 생각하도록 요구하기 때문입니다.

해결책: "역할 놀이"를 하는 로봇

저자들은 AI에게 의견을 추측하라고 요구하는 대신, 역할을 이해하라고 요구해야 한다고 제언합니다. 그들은 사회학자 조지 허버트 미드(George Herbert Mead)의 개념인 "일반화된 타자(generalized other)"를 빌려옵니다. 이를 특정 개인이라기보다 특정 직업을 위한 "규칙서"라고 생각하십시오.

• 기존 방식: AI가 "아마 해변에 가는 게 좋겠어요"라고 말하는 일반적인 사람처럼 행동합니다.
• 새로운 방식: AI는 "의사 역할", "환자 역할", "병원 관리자 역할"을 활성화합니다. 각 역할은 고유한 규칙, 책임, 한계를 가집니다. 의사 역할은 안전에 대해 알고, 환자 역할은 통증과 비용에 대해 알며, 관리자 역할은 예산과 형평성에 대해 압니다.

AI는 단순히 이러한 견해들을 나열하는 것이 아니라, 이들이 서로 대화하게 만듭니다. 이는 마치 양 팀의 규칙을 모두 알고 있는 스포츠 경기 심판이 점수만 외치는 것이 아니라, 두 팀이 함께 경기를 할 수 있도록 돕는 것과 같습니다.

"토론 클럽" 접근법

다음으로, 논문은 사람들이 의견 차이를 보일 때 어떻게 AI를 가이드할 수 있는지 살펴봅니다. 단순히 "사용자에게 친절하게 대하고 동의하라"고 명령하는 대신, 저자들은 철학자 위르겐 하버마스(Jürgen Habermas)의 아이디어에 기반한 **숙의(deliberation)**를 사용할 것을 제안합니다. 모든 사람이 엄격한 규칙을 따라야 하는 토론 클럽을 상상해 보세요. 단순히 "그 아이디어는 싫어요"라고 말하는 것이 아니라, "저는 X라는 근거 때문에 그 아이디어가 싫으며, 여기 더 나은 대안이 있습니다"라고 말해야 합니다.

논문은 서로 다른 "에이전트(작은 디지털 조력자들)"가 이러한 역할을 수행하는 AI 시스템을 구축할 것을 제안합니다. 이들은 주장을 주고받고, 증거를 바탕으로 서로에게 이의를 제기하며, 공정한 과정을 따랐을 때만 합의에 도달합니다. 이는 AI의 사고 과정을 가시화합니다. 당신은 결과값뿐만 아니라 AI가 어떻게 결론에 도달했는지 그 과정을 볼 수 있습니다. 이는 마치 AI의 "사고 과정"을 화이트보드에 적어 놓는 것과 같아서, 그것이 공정했는지 확인할 수 있게 해줍니다.

의견의 "권력 지도"

마지막으로, 논문은 "분포적 다원주의(distributional pluralism)", 즉 "대다수의 사람들이 무엇을 생각하는지 보여주는 것"이라는 개념을 다룹니다. 저자들은 단순히 투표수를 세는 것만으로는, 설령 그들이 틀렸더라도 목소리가 크거나 권력이 있는 집단이 우세하게 만드는 실수를 범할 수 있다고 경고합니다. 그들은 사회학자 피에르 부르디외(Pierre Bourdieu)의 아이디어를 사용하여, 사회가 서로 다른 권력의 "장(fields)"으로 이루어진 지도와 같다고 설명합니다. 어떤 사람들은 자신의 직업이나 지위 덕분에 더 많은 영향력을 가집니다.

논문은 AI가 단순히 가장 흔한 의견을 복제해서는 안 된다고 제안합니다. 대신, AI는 집단의 구조를 이해해야 합니다. 건강 문제에 대한 의료 전문가의 의견이 일반 인터넷 댓글보다 더 큰 무게를 갖는 이유는, 그 전문가가 인간으로서 더 낫기 때문이 아니라, 해당 분야에서의 특정한 역할 때문임을 알아야 합니다. AI는 누가 말하고 있는지와 그들의 역할이 무엇인지에 따라 의견의 무게를 달리 측정하여, 최종 결정이 형평성과 전문성을 모두 존중하도록 해야 합니다.

실생활 적용: 트리아지(Triage) 사례

이것이 어떻게 작동하는지 보여주기 위해, 저자들은 만성 통증이 있는 환자가 AI에게 "전문의 진료를 6주 동안 기다려야 할까요, 아니면 더 빨리 진료를 받을 수 있을까요?"라고 묻는 시나리오를 가정합니다.

• 일반적인 AI는 세 가지 별개의 답변을 줄 수 있습니다: "기다리세요", "지금 가세요", "상황에 따라 다릅니다".
• 이 새로운 "사회적 접지" AI는 세 가지 역할을 활성화합니다: 임상의(안전을 걱정함), 환자 옹호자(비용과 통증을 걱정함), 병원 행정가(진료 슬롯 부족을 걱정함).
• 이 역할들이 서로 "대화"합니다. 임상가는 "통증이 악화되고 있으므로 확인이 필요하다"고 말합니다. 옹호자는 "하지만 환자는 일을 쉬는 데 드는 비용을 감당하기 어렵다"고 말합니다. 행정가는 "우리는 응급 상황을 위한 슬롯만 보유하고 있다"고 말합니다.
• 그러면 AI는 조정된 해결책을 제시합니다: "빠른 트리아지 체크를 위해 클리닉에 연락하십시오. 증상이 위험하다면 진료 슬롯을 찾아드릴 것이고, 그렇지 않다면 예약일까지 통증을 관리하는 것을 도와드리겠습니다."
• 결과는 단순한 옵션의 나열이 아니라, 안전 규칙, 환자의 통증, 그리고 병원의 제한 사항을 모두 존중하는 조정된 계획입니다.

이것이 미래에 의미하는 바

논문은 단순히 더 많은 데이터나 더 나은 수학을 추가한다고 해서 AI를 "고칠" 수 있는 것이 아니라고 결론짓습니다. 우리는 사회적 세계를 이해하는 시스템을 설계해야 합니다. 저자들은 미래의 AI가 단순히 최종 답변이 맞는지뿐만 아니라, 서로 다른 역할들을 얼마나 잘 조정하고 공정한 과정을 따랐는지에 의해 평가되어야 한다고 제안합니다. 그들은 이것이 병원이나 학교와 같은 실제 장소에서 테스트가 필요한 새로운 아이디어임을 인정합니다. 그들은 이것이 완성된 제품이라고 말하는 것이 아닙니다. "이러한 시스템을 구축하기 위한 새로운 지도를 제시하며, 이것이 실제로 작동하는지 확인하기 위해 시도해 봐야 한다"고 말하고 있습니다.

요컨대, 이 논문은 AI가 진정으로 도움이 되려면 단일한 목소리로 행동하는 것을 멈추고, 숙련된 사회적 코디네이터로서 행동해야 한다고 주장합니다. 즉, 모든 사람은 각자의 역할이 있으며, 최선의 답은 그 역할들이 어떻게 상호작용하는지를 경청하는 데서 나온다는 것을 이해해야 한다는 것입니다.