Consensus vs. Dissent: Dynamic LLM Modeling of Subjective Preferences in Group Recommenders

당신과 네 명의 친구가 저녁을 어디서 먹을지 결정하려고 한다고 상상해 보세요. 여러분은 모두 입맛이 다릅니다. 한 사람은 매운 음식을 아주 좋아하고, 다른 한 사람은 매운 것을 정말 싫어하며, 또 다른 한 명은 그저 가장 저렴한 옵션을 원합니다. 컴퓨터 과학의 세계에서 이것은 **그룹 추천 시스템(Group Recommender System, GRS)**이라고 불립니다. 오랫동안 컴퓨터는 경직된 수학 공식을 사용하여 이 문제를 해결하려고 노력해 왔습니다. 어떤 공식은 "모두의 투표를 평균 내자"라고 말합니다. 또 다른 공식은 "가장 불행한 사람을 덜 불행하게 만드는 곳을 고르자"라고 말합니다. 이러한 공식들은 마치 레시피를 완벽하게 따르지만, 정작 식탁에 앉아 있는 특정 그룹에게 음식이 실제로 맛있는지는 전혀 모르는 로봇 요리사와 같습니다.

문제는 이 로봇들이 그룹의 '기분'을 느낄 수 없다는 점입니다. 그들은 그룹이 의견이 일치하는 상태(합의/consensus)인지, 아니면 두 개의 싸우는 파벌(연합/coalition)로 나뉘어 있는지 알 수 없습니다. 이를 해결하기 위해, 연구자들인 세드릭 워터스쿠트(Cedric Waterschook), 나바 틴타레프(Nava Tintarev), 프란체스코 바릴레(Francesco Barile)는 컴퓨터에게 인간 판사처럼 행동하도록 가르치기로 했습니다.

로봇 판사의 뇌 업그레이드

연구팀은 먼저 "선생님" 역할을 할 로봇, 즉 다양한 추론을 생성할 수 있을 만큼 똑똑한 거대 AI인 DeepSeek-V3.1로 시작했습니다. 그들은 이 선생님에게 1,152명의 실제 인간이 그룹 추천이 얼마나 공정하고, 만족스러우며, 합의가 잘 이루어졌다고 느꼈는지에 대해 평가한 이전 연구의 방대한 데이터를 입력했습니다.

단순히 점수를 암기하는 대신, 연구진은 선생님에게 왜 그런 점수를 주었는지 이유를 설명하도록 요청했습니다. 이는 학생에게 단순히 "A"라고 쓰는 것이 아니라, 왜 그 학생이 A를 받았는지에 대해 상세한 에세이를 쓰도록 요구하는 것과 같습니다. 그들은 기존의 인간 점수를 바탕으로 **합성 추론(synthetic reasoning)**의 예시 5,318개를 생성하도록 선생님에게 요청했습니다. 이를 통해 AI가 단순한 의견 자체가 아니라, 인간의 의견 뒤에 숨겨진 논리를 학습하는 특별한 훈련 세트를 만들었습니다.

그다음, 두 개의 작은 오픈 소스 로봇(Llama-3.1과 OLMo-3)을 가져와 이 에세이들을 이용해 가르쳤습니다. Judgmental Llama와 Judgmental Olmo라는 이름이 붙은 이 새로운 로봇들은 인간의 감정을 흉내 내는 법을 배웠습니다. 훈련 전의 로봇들은 형편없는 판사였습니다. 그들은 실제 인간의 의견과 일치하지 않는 매우 좁고 지루한 답변만을 내놓았습니다. 하지만 훈련 후, 이들은 인간의 의견 분포를 거의 완벽하게 일치시키며 인간의 느낌을 흉내 내는 데 훨씬 더 능숙해졌습니다.

대규모 테스트: 로봇은 최선의 전략을 선택할 수 있는가?

연구진은 모든 그룹의 친구들에게 하나의 레시피만 제공하는 것이 아니라, 매번 다른 방식을 사용하는 시스템을 구축했습니다. 즉, 6가지의 서로 다른 수학 공식(예: "평균", "최소 불행", "다수결" 등)을 실행하여 6가지의 서로 다른 저녁 제안을 생성했습니다.

그다음, Judgmental Olmo 로봇(가장 우수한 학생으로 판명됨)이 개입했습니다. 이 로봇은 6가지 제안을 모두 살펴본 뒤 스스로에게 물었습니다. "내가 이 특정 그룹의 인간이라면, 어떤 제안이 가장 공정하고 만족스럽다고 생각할까?" 그리고 인간적인 느낌을 바탕으로 승자를 선택했습니다.

이것이 실제로 작동하는지 확인하기 위해, 연구팀은 284명의 인간 참가자를 대상으로 실제 실험을 진행했습니다. 그들에게 다양한 그룹 시나리오(예: 서로 다른 취향을 가진 다섯 명의 친구들)를 보여주고 추천 결과에 대해 평가하도록 했습니다.

결과: 로봇 판사의 승리 (때로는)

결과는 흥м 흥미롭지만 구체적이었습니다. Judgmental Olmo를 사용하여 동적으로 최적의 전략을 선택하는 시스템이 **인지된 공정성(perceived fairness)**과 그룹 합의(group consensus) 측면에서 가장 높은 점수를 받았습니다. 또한, "공정성(Fairness, FAI)"이라는 특정 수학 공식 바로 뒤를 이어 **만족도(satisfaction)**에서도 두 번째로 높은 점수를 기록했습니다.

하지만 논문은 이 로봇이 항상 똑같이 작동하는 마법의 지팡이는 아니라는 점을 매우 분명히 하고 있습니다. 로봇의 성공은 그룹의 유형에 크게 좌로되었습니다.

• 유사한 성향의 그룹(uniform)의 경우: 로봇은 모두를 행복하게 만드는 전략을 선택하는 법을 알고 있었습니다.
• 나뉜 그룹(coalitional)이나 소수 집단이 있는 경우: 로봇은 일반적인 "평균" 수학 공식이 종종 실패한다는 것을 깨달았습니다. 로봇은 기어를 변속하여 갈등을 더 잘 처리할 수 있는 다른 전략을 선택했습니다.

데이터는 그룹 유형과 사용된 전략 사이에 통계적으로 유의미한 상호작용이 있음을 보여주었습니다. 다시 말해, 로봇의 적응 능력이 기존의 정적인 방식보다 더 나았던 핵심이었습니다. 예를 들어, 두 개의 하위 그룹이 의견을 달리하는 "연합형(coalitional)" 그룹에서, 로봇의 선택은 "다수결(Majority Vote)"이나 "승인 투표(Approval Voting)" 전략보다 훨씬 더 공정하다고 인식되었습니다.

로봇이 아직 할 수 없는 것 (현재로서는)

논문은 이 시스템이 아직 무엇이 아닌지를 신중하게 지적합니다.

• 모든 문제에 대한 돌파구가 아닙니다: 연구진은 자신들의 시스템이 현재 특정 시나리오(예: 식당 선택)에 국한되어 있으며, 이전 연구의 데이터에 의존하고 있다고 명시했습니다. 그들은 이 시스템이 아직 세상의 모든 그룹 추천 문제를 해결할 수 있다고 주장하지 않습니다.
• 즉각적이지 않습니다: 로봇이 확신을 갖기 위해 여러 번의 "사고 실험"(추천당 5번의 평가 생성)을 수행해야 하기 때문에 시간이 걸립니다. 실제 앱에서는 몇 분의 지연이 발생할 수 있으며, 이는 배고픈 친구들에게는 너무 느린 속도입니다.
• 완벽하지 않습니다: 기본 로봇(훈련 전)은 편향되어 있고 좁은 시야를 가지고 있었습니다. 훈련이 도움이 되긴 했지만, 연구진은 "선생님" 모델을 사용하여 훈련 데이터를 생성하는 것에 의존하는 것이 의존성을 초래할 수 있다고 인정합니다. 그들은 향후 연구가 AI가 시뮬레이션한 추론이 아닌, 실제 인간의 추론을 바탕으로 이루어져야 한다고 제안합니다.

결론

이 논문은 우리가 숫자를 계산하는 것을 넘어, 인간의 감정이라는 뉘앙스를 이해하도록 AI를 가르침으로써 더 나은 그룹 추천 시스템을 구축할 수 있다는 점을 시사합니다. 훈련된 AI 판수가 직면한 특정 그룹에 맞는 최적의 수학 공식을 선택하게 함으로써, 우리는 더 공정하고 합의된 느낌을 주는 추천을 얻을 수 있습니다.

하지만 저자들은 너무 들뜨지 말라고 경고합니다. 이 시스템은 여 still 시뮬레이션이자 프로토타입입니다. 우리가 저녁 메뉴를 알아서 골라줄 수 있을 만큼 신뢰하기 위해서는 더 빠른 속도(더 작은 "초소형" 로봇 사용)를 갖춰야 하며, 더 다양한 유형의 그룹에 대해 테스트되어야 합니다. 현재로서는, 때로는 가장 많은 사람을 행복하게 만드는 수학적 답이 아니라, 적절한 사람들을 행복하게 만드는 답이 최선이라는 것을 컴퓨터가 이해할 수 있다는 것을 보여주는 매우 유망한 단계입니다.