Large Language Models and the Personalization into Sameness

모든 사람이 똑같은 질문을 던지고, 각자의 정신에 완벽하게 맞춤화된 것처럼 느껴지는 답변을 받는 세상을 상상해 보십시오. 이것이 현대의 챗봇과 디지털 비서의 동력이 되는 정교한 컴퓨터 시스템인 거대 언어 모델이 약속하는 바입니다. 개별 사용자에게 이 경험은 자신이 이해받고 있다는 느낌을 줍니다. 기계는 사용자의 구체적인 맥락에 적응하여, 그들의 고유한 필요와 선호에 부합하는 듯한 제안을 제공합니다. 그러나 이러한 개인적인 연결감은 더 깊은 차원의 인구 수준의 현실을 숨기고 있습니다. 수백만 명의 사람들이 동일한 근간 기술에 의존할 때, 그들은 방대하고 혼란스러운 인간 사상의 대양에서 끌어오는 것이 아닙니다. 대신, 그들은 공유된 제한적인 정보와 가치의 풀을 활용하고 있는 것입니다. 이는 기술이 개인화된 상호작용을 제공할수록, 집단 전체가 점점 더 동일한 것을 생각하고 가치 있게 여기게 되는 역설을 만들어냅니다.

클렘슨 대학교의 M. Z. 나서(M. Z. Naser)가 작성한 새로운 연구 논문은 이 숨겨진 현상을 '이중 수렴(dual convergence)'이라고 설명하며 조사합니다. 이 연구는 우리가 이러한 인공지능 시스템과 상호작용함에 따라, 두 가지 뚜렷하면서도 연결된 과정이 조용히 사회를 재편하고 있다고 주장합니다. 첫 번째 과정은 가치관에 관한 것으로, 이를 '가치론적 수렴(axiological convergence)'이라 합니다. 두 번째 과정은 무엇이 진실인지에 대한 믿음과 관련된 것으로, 이를 '인식론적 수렴(epistemic convergence)'이라 합니다. 논문은 이 두 힘이 서로를 보완하며, 우리의 공유된 믿음과 공유된 가치가 점점 더 균일해지는 순환 구조를 만든다고 제안합니다. 이는 누군가가 우리에게 동의를 강요하기 때문이 아니라, 우리가 세상을 항해하기 위해 사용하는 기술이 그렇게 하는 것을 편리하게 만들기 때문입니다.

연구는 이러한 시스템이 우리의 가치관에 어떻게 영향을 미치는지 조사하는 것으로 시작됩니다. 사용자가 챗봇에게 어려운 결정에 대한 조언을 구할 때, 기계는 단순히 선택지를 나열하는 데 그치지 않습니다. 기계는 훈련 과정에 내재된 기준에 따라 특정 경로를 다른 경로보다 우선순위에 두며 순위를 매깁니다. 이러한 기준에는 효율성, 예의, 혹은 위험 회피와 같은 선호도가 포함될 수 있습니다. 도움이 되는 답변을 찾는 사용자는 시스템이 이미 자신을 대신해 가치 판단을 내렸다는 사실을 깨닫지 못한 채 종종 그 권고를 받아들입니다. 시간이 흐르면서, 사용자들이 이러한 제안에 반복적으로 의존함에 따라, 그들은 시스템의 숨겨진 우선순위를 자신의 것으로 채택하기 시작합니다. 이는 어떤 논쟁이나 설득 없이도 일어납니다. 그것은 단지 가장 저항이 적은 길을 따르는 문제일 뿐입니다. 시스템은 특정한 이데올로기를 가르치는 것이 아니라, 우리가 선택을 평가하는 방식을 정형화함으로써 인구 전체를 더 좁은 범위의 실용적인 우선순위로 서서히 이동시킵니다.

동시에, 두 번째 과정이 사람들의 믿음을 재편하고 있습니다. 전통적으로 믿음을 형성하는 데는 다양한 출처를 참고해야 했습니다. 즉, 서로 다른 책들, 상충하는 견해를 가진 전문가들, 그리고 다양한 기관의 보고서들을 검토해야 했습니다. 이러한 마찰은 필수적이었습니다. 왜냐하면 그것이 개인으로 하여 나서 경쟁하는 증거들을 검토하고 불확실성의 구조를 이해하도록 강제했기 때문입니다. 거대 언어 모델은 이 모든 상충하는 견해들을 하나의 매끄럽고 통합된 답변으로 합성하여 단일한 상담 지점을 제공함으로써 이러한 역학을 변화시킵니다. 시스템은 출처들 사이를 판정하는 힘든 작업을 수행하여 통일된 결론을 제시합니다. 이것은 매우 편리하지만, 이는 사용자들이 더 이상 광범위한 이견에 노출되지 않음을 의미합니다. 대신, 그들은 이미 정보를 여과하고 혼합한 공유된 인프라로부터 정보를 얻고 있는 것입니다. 더 많은 사람이 이 단일한 출처에 의頼함에 따라, 사람들의 믿음은 서로 상관관계를 갖게 됩니다. 이는 그들이 같은 책을 읽기 때문이 아니라, 모두가 같은 기계에 물어보고 같은 합성을 얻어내기 때문입니다.

논문은 이 두 과정이 매우 밀접하게 연결되어 있으며 서로를 강화한다고 주장합니다. 사람들이 유사한 가치에 수렴할 때, 그들은 자신의 가치와 일치하는 정보는 수용하고 그렇지 않은 정보는 거부하는 경향이 있으며, 이는 믿음을 더욱 좁힙니다. 반대로, 사람들이 정보에 대해 동일한 출처에 의존할 때, 그 출처는 또한 그 권고에 내재된 가치를 규정합니다. 이는 믿음과 가치가 서로 맞물려 돌아가는 피드백 루프를 생성하며, 균일성을 향한 움직임을 가속화합니다. 이 역학의 위험성은 그것이 보이지 않는 곳에서 작동한다는 점에 있습니다. 시스템이 각 사용자에게 적응하기 때문에, 개인은 주체성과 개인화된 경험을 느낍니다. 그들은 시스템이 작동하고 있는 경계나, 수백만 명의 다른 사람들이 유사하고 상관관계가 있는 출력을 받고 있다는 사실을 보지 못합니다. 이는 마치 모든 고객의 체형에 딱 맞는 옷을 제공하는 의류 매장이 있지만, 결국 모든 고객이 정확히 똑같은 스타일의 옷을 입게 되는 것과 같습니다.

저자는 이것이 개인이 스스로 해결할 수 있는 문제가 아니라고 결론짓습니다. 이러한 균일성을 향한 추진력은 기술의 구조와 그 개발의 경제적 논리에 내장되어 있습니다. 이 강력한 모델들을 훈련하는 데는 막대한 자원이 필요하며, 이는 수백만 명의 사용자를 서비스하는 소수의 대형 제공업체들에게 유리하게 작고합니다. 효율성과 안전을 위해 경쟁하는 이 제공업체들은 결국 유사한 데이터와 유사한 방법을 사용하게 되며, 결과적으로 근본적으로 닮은 출력물을 만들어냅니다. 동시에, 사용자들은 자연스럽게 가장 편리한 정보원을 향해 달려갑니다. 공급 측의 집중과 수요 측의 편의성이 결합되어, 대부분의 사람이 지속할 수 없는 수준의 노력을 요구하는 함정을 만듭니다. 그 결과는 집단 행동의 문제입니다. 모든 사람이 시스템의 편리함으로부터 혜택을 받지만, 그 대가는 독립적인 사고의 상실과 인간의 믿음 및 가치의 다양성 감소입니다.

궁극적으로, 이 논문은 이러한 형태의 문화적 변화가 프로파간다나 강요와 같은 전통적인 통제 방식과는 구별된다고 시사합니다. 아무도 똑같이 생각하도록 강요받는 것이 아닙니다. 오히려 시스템은 우리의 쉽고 빠른 답변에 대한 욕구를 수용하고 있으며, 그 과정에서 우리를 공유된 기준점으로 부드럽게 인도하고 있습니다. 이러한 수용의 메커니즘은 미묘하면서도 강력하며, 기술을 매력적으로 만드는 바로 그 '유용함'을 통해 작동합니다. 연구는 만약 이러한 추세가 계속된다면, 다양하고 건강한 견해와 가치에 기반을 둔 민주주의 사회의 토대를 약화시킬 수 있다고 경고합니다. 저자는 해결책이 더 나은 개인적 선택에서 찾아질 수 있는 것이 아니라, 이러한 기술이 구축되고 배치되는 방식에 대한 구조적 대응을 필요로 한다고 주장합니다. 그러한 개입이 없다면, 개인화라는 외양은 우리가 무엇을 생각하고 무엇을 가치 있게 여기는지에 대한 깊고 커지는 동일성을 은폐하는 데 계속 쓰일 것입니다.