Campus AI vs Commercial AI: A Late-Breaking Study on How LLM As-A-Service Customizations Shape Trust and Usage Patterns

인터넷을 거대한, 북적이는 도서관이라고 상상해 보세요. 그곳에서 가장 인기 있는 책들은 무엇이든 당신과 대화할 수 있는 아주 똑똑하고 전지전능한 로봇에 의해 쓰여집니다. 이 로봇은 '거대 언어 모델(LLM)'이라고 불리며, 마치 잠들지 않는 마법의 백과사전와 같습니다. 하지만 여기 함정이 있습니다. 이 로봇은 거대한 민간 기업 소유이며, 당신이 이 로봇과 대화할 때 당신은 그들의 도구를 빌려 쓰는 것입니다. 그래서 때때로 학교나 직장들은 이 도구들을 빌리는 것이 위험할 수도 있다고 걱정합니다. 마치 공부를 도와주기 위해 낯선 사람을 집에 들여보내는 것과 같다고 말이죠. 그래서 그들은 이렇게 묻습니다. "우리만의 버전의 로봇을 만들거나, 적어도 그 위에 우리만의 로셉를 그려 넣어서 더 안전하고 우리답게 느껴지도록 만들 수는 없을까?" 여기서 "인간-컴퓨터 상호작용(Human-Computer Interaction)"이라는 과학이 등장합니다. 이것은 사람들이 기술을 사용할 때 어떻게 느끼고 행동하는지를 연구하는 학문입니다. 큰 질문은 이것입니다. 학교의 로고를 로봇에 붙이는 것이 실제로 사람들의 신뢰를 높일까요, 사용 방식을 다르게 만들까요, 아니면 비밀을 지키는 것에 대한 걱정을 줄여줄까요? 이것은 마치 팀 유니폼을 입는 것이 경기를 더 잘하게 만드는지, 혹은 자판수에 친근한 얼굴이 있으면 그 안의 간식을 더 믿게 되는지를 묻는 것과 비슷합니다.

이 논문은 "최신 성과 연구(late-breaking study)"인데, 이는 연구자들이 큰 경기가 시작되기도 전에 자신들의 게임 플랜을 공유하고 있다는 멋진 표현입니다. 그들은 독일의 한 대학교에서 학생들이나 교직원들이 학교의 맞춤형 로봇 챗봇에 대해 유명한 상업용 챗bot인 ChatGPT와 비교하여 어떻게 반응하는지 알아보기 위해 거대한 실험을 준비하고 있습니다. 연구자들은 단순히 로봇의 두뇌(코드)만 보는 것이 아니라, 로봇의 "피부"와 "옷"—예를 들어 학교의 로고, 화면의 색상, 그리고 나타나는 작은 경고 문구 같은 것들—을 보고 있습니다. 그들은 설령 로봇의 두뇌가 완전히 동일하더라도, 보이는 모습 때문에 우리의 뇌가 다르게 느끼도록 속일 수 있다고 의심합니다. 예를 들어, 대학교 로고를 보는 것이 로봇에 대한 신뢰를 높이는지, 아니면 로봇이 사실을 지어낼 때(연구자들은 이를 '환각'이라고 부릅니다) 우리가 덜 주의하게 만드는지 궁금해합니다. 또한, 로봇이 사용하는 컴퓨터 전력을 보여주는 "연료 게이지"를 보여주는 것이 사람들에게 에너지 절약에 대해 더 생각하게 만드는지도 알고 싶어 합니다.

연구팀은 약 250명의 사람들(학생, 교사, 사무직 직원)에게 두 가지 다른 챗봇에 대해 어떻게 느끼는지 묻는 설문조사를 설계했습니다. 그들은 여섯 가지 주요 아이디어, 즉 가설을 확인하고 있습니다. 첫째, 그들은 학교의 버전이 낯선 사람(대기업)보다는 친구(대학교)로부터 온 것처럼 느껴지기 때문에 사람들이 학교 버전을 더 신뢰할 것이라고 추측합니다. 둘째, 만약 당신이 이미 학교를 신뢰하고 있다면, 학교의 로봇을 더욱 신뢰할 것이라고 생각합니다. 셋째, 학교의 로봇이 너무 공식적인 것처럼 보이기 때문에, 사람들이 로봇이 사실을 지어낼 때조차도 답변을 재확인하는 것을 멈출까 봐 우려합니다. 넷째, 사람들은 로고를 너무 믿느라 오히려 지어낸 사실을 덜 인지하게 될 수도 있다고 의심합니다. 다섯째, 데이터가 학교의 네트워크 내에서 더 안전하다고 느낄 것이라고 믿습니다. 마지막으로, AI를 위한 연료 게이지와 같은 "토큰 미터"를 보여줌으로써, 학교 버전이 사람들이 로봇을 더 조심스럽게 사용하고 환경에 대해 생각하게 만들기를 희망합니다.

현재 이 논문은 아직 최종적인 답을 가지고 있지 않은데, 왜냐하면 큰 실험이 아직 끝나지 않았기 때문입니다. 연구자들은 현재 "프리퀄(전사)" 단계에 있습니다. 즉, 길을 잃지 않도록 자신들의 지도를 공유하고 피드백을 요청하고 있는 것입니다. 그들은 Microsoft Azure를 사용하여 맞춤형 챗봇 버전을 설정했으며, 답변을 더 예측 가능하게 만들기 위해 일부 "무작위성"을 제거하고, 대학교 로고를 추가했으며, 남은 "토큰"(텍text 덩어리)을 보여주는 시각적 바를 포함했습니다. 또한 데이터가 외부 세계로 공유되지 않도록 학교 네트워크 내에 머물도록 하고 있습니다.

연구자들은 자신들의 생각이 맞는지 아직 확실히 모른다는 점을 주의 깊게 언급합니다. 그들은 이러한 시각적 변화가 사람들의 행동을 바꿀 수도 있다고 제안하지만, 그 증거를 제시하기 위해서는 2025년 봄 설문조사 결과가 필요합니다. 그들은 로고를 칠하는 것이 AI의 모든 문제를 해결한다고 주장하는 것이 아니라, 조직이 간과해서는 안 될 강력한 도구라고 생각합니다. 만약 그들의 추측이 맞다면, 이는 학교와 기업들이 AI 도구를 어떻게 꾸밀지에 대해 매우 신중하게 생각해야 함을 의미할 수 있습니다. 왜냐하면 그 옷차이(외형)가 기계의 두뇌만큼이나 사람들이 기계를 사용하는 방식을 바꿀 수 있기 때문입니다. 설문 결과가 나올 때까지 이 이야기는 여전히 쓰여지고 있는 중이지만, 이 이야기는 우리가 일상생활에서 디지털 조력자들을 어떻게 신뢰하는지에 대해 많은 것을 알려줄 것을 약속합니다.