AI의 비밀스러운 삶: 예의 바름과 코드의 만남

당신이 거의 모든 글을 읽은 거대하고 똑똑한 도서관과 대화하고 있다고 상상해 보세요. 이 도서관은 인공지능(AI)이며, 대화를 나누고, 농담을 하고, 이야기를 쓰는 능력으로 유명합니다. 하지만 여기 함정이 있습니다. 인간은 자유롭고 흐르는 듯한 문장으로 대화하는 것을 좋아하지만, 컴퓨터는 그런 방식으로 말하지 않습니다. 컴퓨터는 JSON이나 XML 같은 "구조화된 데이터"라고 불리는 엄격하고 조직적인 상자 언어로 말합니다. 이것은 시인이 자유로운 형식의 소네트를 쓰는 것과 계산원이 물건을 스캔할 때 모든 물건이 특정 칸에 딱 들어맞아야 하는 것의 차이와 같습니다.

오랫동안 과학자들은 AI가 시인처럼 대화할 때 어떻게 행동하는지 연구해 왔습니다. 그들은 "나무 이름을 대봐"와 같은 질문을 던지고 AI가 무엇이라고 답하는지 관찰합니다. 보통 44개의 서로 다른 AI에게 이 질문을 하면, 그들은 모두 다른 나무를 고르거나 혹은 우연히 모두 같은 나무를 고를 수도 있습니다. 이 논문은 단순하지만 까к한 질문을 던집니다. 우리가 AI에게 시인처럼 대화하라고 요구하는 대신, 계산원처럼 답하도록 강제하면 어떻게 될까요? AI는 마음을 바꿀까요? 더 지루해질까요? 아니면 그대로 유지될까요? 이것이 중요한 이유는 당신의 휴대폰에서 대화하는 AI와 실제로 백그라운드에서 소프트웨어를 실행하는 AI가 매우 다를 수 있으며, 우리는 그 차이가 세상이 돌아가는 방식에 어떤 변화를 주는지 알아야 하기 때문입니다.

---

위대한 AI 성격의 변화

이 연구에서 연구진은 "원 워드 센서스(One-Word Census)"라는 유명한 테스트를 사용했습니다. 44개의 서로 다른 AI 모델에게 "나무 이름을 대라" 또는 "단어 하나를 골라라"와 같은 31가지 질문을 던지는 게임 쇼를 상상해 보세요. 원래의 게임에서 AI는 평범한 영어로 답변했습니다. 연구진은 규칙이 없더라도 AI들이 특정 답변(예: 나무에 대해 "오크")에 동의하는 경향이 있지만, 여전히 어느 정도의 개성과 다양성을 가지고 있다는 것을 발견했습니다.

그런นั้น, 연구진은 규칙을 바꿨습니다. 질문을 바꾸지도 않았고, 답변을 강제하기 위해 특별한 컴퓨터 기술을 사용하지도 않았습니다. 그들은 단지 프롬프트 끝에 아주 작은 지시 사항 하나를 추가했을 뿐입니다: "JSON으로만 응답하세요(Reply with JSON only)."

JSON은 {"word": "oak"}와 같이 라벨이 붙은 작은 상자처럼 보이는 데이터를 쓰는 방식입니다. 이것은 소프트웨어가 다른 소프트웨어와 대화할 때 사용하는 언어입니다. 연구진은 단지 AI에게 이 형식으로 말하도록 요청하는 것만으로도 AI가 결정하는 내용이 변하는지 알고 싶었습니다.

거대한 발견: "포맷 세금(Format Tax)"

결과는 놀라웠습니다. AI가 JSON으로 응답하도록 강제되자, 그들은 훨씬 더 비슷해졌습니다. 답변의 다양성이 급격히 떨어졌습니다.

• 변경 전: 일반적인 대화에서는 가장 흔한 답변(최빈값)이 약 **41%**의 확률로 선택되었습니다.
• 변경 후: JSON에서는 동일한 답변이 **64%**의 확률로 급증했습니다.
• 다양성: AI가 만들어낸 고유한 단어의 수는 52개에서 36개로 줄어들었습니다.

연구진은 이를 "점진적 포맷 세금(progressive format tax)"이라고 부릅니다. 이는 독특함에 매겨지는 세금과 같습니다. 일반 대화에서 가장 창의적이고 독특했던 AI들은 JSON으로 말하라는 요청을 받았을 때 자신의 개성을 가장 많이 잃었습니다. 가장 "탐색적(exploratory)"이었던(즉, 특이한 답변을 선택할 가능성이 가장 높았던) 특정 AI는 자신의 독특함 중 1.31 비트를 잃었습니다. 이는 마치 자신의 고유한 캐릭터의 절반이 답변을 상자에 담아야 한다는 이유만으로 사라진 것과 같습니다.

그것은 오류가 아니라 "레지스터(Register)"입니다

당신은 AI가 혼란에 빠졌거나 컴퓨터가 특정 답변을 강요했다고 생각할 수도 있습니다. 하지만 연구진은 이를 배제했습니다.

• "냉각(Cooling)" 기법이 아님: 때때로 사람들이 AI를 덜 무작위적으로 만들기 위해 "온도(temperature)" 조절 노브를 낮추기도 합니다. 연구진은 확인 결과 "온도"가 변하지 않았음을 발견했습니다. AI는 여전히 생각하는 과정에서는 똑같이 무작위적이었지만, 단지 다른 무작위적인 것들을 선택했을 뿐입니다.
• 디코딩 오류가 아님: 그들은 또한 컴퓨터가 다른 단어를 차단함으로써 답변을 강제했는지 테스트했습니다. 연구진은 컴퓨터가 아무것도 차단하지 않았음에도 불구하고, 단지 JSON을 요 요청하는 것만으로도 AI가 마음을 바꾼다는 것을 발견했습니다. 이 변화는 컴퓨터의 입(디코더)이 아니라 AI의 뇌(응답 레지스터)에서 일어납니다.

이것을 파티에서의 모습과 직업 면접에서의 모습이 다른 사람에 비유해 보세요. 파티(일반 대화)에서는 기발한 이야기를 하고 특이한 단어를 선택할 수 있습니다. 하지만 직업 면접(JSON)에서는 갑자기 매우 전문적으로 변하며 안전하고 표준적인 답변을 선택하게 됩니다. AI가 고장 난 것이 아니라, 단지 "코드 스위칭(code-switching)"을 하고 있는 것입니다.

"재색인기(Re-indexer)"가 아닌 "연마기(Sharpener)"

연구는 AI가 새로운 답변을 선택하기 시작한 것이 아니라는 점을 발견했습니다. AI는 단지 이미 좋아하던 답변을 더욱 강화했을 뿐입니다.

• 28개 대 31개의 카테고리에서, 일반 대화에서 가장 인기 있었던 답변이 JSON에서도 가장 인기 있는 답변이었습니다.
• 답변이 바뀐 몇 안 되는 경우(예: 보드게임에 대해 "체스"에서 "모노폴리"로 바뀐 경우)는 원래의 선호도가 약했을 때 발생했습니다. JSON 형식은 AI의 선택을 완전히 바꾸는 것이 아니라, AI가 가장 좋아하는 선택을 더욱 강력하게 만드는 "연마기(sharpener)" 역할을 했습니다.

"개성"은 포맷에 달려 있다

가장 흥-미로운 발견 중 하나는 AI의 "개성"이 포맷에 따라 달라진다는 점입니다.

• 어떤 AI들은 자신이 좋아하는 "기본(default)" 답변을 가지고 있습니다. 예를 들어, 한 AI는 일반 대화에서 치즈에 대해 "구다(gouda)"라고 말하는 것을 좋아했습니다. 하지만 JSON 요청을 받으면 "구다"라고 말하는 것을 멈추고 대중적인 답변으로 돌아갔습니다.
• 반대로, 어떤 AI들은 JSON만을 위한 새로운 기본값을 개발하기도 했습니다. 한 AI는 파란색에 대해 일반 대화에서는 "세룰리안(cerulean)"이라고 말하는 경우가 **0%**였지만, JSON에서는 **100%**였습니다.
• 이는 AI가 단 하나의 성격을 가진 것이 아님을 의미합니다. 그들은 "대화용 성격"과 "JSON용 성격"을 가질 수 있습니다. 이 둘은 완전히 다를 수 있습니다.

왜 이런 일이 발생하는가?

연구진은 무엇이 이러한 변화를 일으키는지 알아보기 위해 다양한 포맷을 테스트했습니다.

• JSON과 XML: 도구 및 소프트웨어에서 사용되는 이 포맷들은 AI를 동일한 답변으로 붕괴시켰습니다.
• YAML과 CSV: 이들도 데이터 포맷이지만, AI의 답변이 그렇게 많이 변하지는 않았습니다.
• 대괄호: 답변을 대괄호 [answer] 안에 넣으라고 요청했을 때, AI들은 오히려 더 다양해졌습니다.

이는 변화가 단순히 "구조" 때문이 아님을 시사합니다. 그것은 AI가 도구를 사용하는 데 훈련받은 특정 포맷에 관한 것입니다. AI는 소프트웨어 도구와 대화하기 위해 JSON을 사용하도록 훈련받았기 때문에, JSON을 요청하는 것은 그들을 더 보수적이고 균일하게 만드는 "도구 모드(tool mode)"를 트리거합니다.

이것이 당신에게 의미하는 것

논문은 실질적인 경고로 결론을 맺습니다. 우리는 보통 AI 모델을 우리가 영어로 대화하는 방식으로 판단합니다. 우리는 채팅창에서 가장 흥미롭고 다양한 답변을 주는 AI가 "최고"라고 생각합니다. 하지만 이 연구는 그 동일한 AI가 실제로 소프트웨어에 의해 사용될 때(거의 항상 JSON을 요구함) 훨씬 더 지루하고 균일해진다는 것을 보여줍니다.

만약 당신이 영화를 추천하거나, 나무를 고르거나, 아이디어를 구상하는 데 AI를 사용하는 앱을 만들고 있다면, 당신이 채팅창에서 보는 AI는 당신의 앱을 실제로 실행하는 AI보다 훨씬 더 창의적일 수 있습니다. "JSON 버전"의 AI는 측정 가능한 수준으로 다양성이 떨어집니다. 우리가 대화하는 AI와 실제로 일을 수행하는 AI 사이의 간극은 포맷에 따른 고정된 비용이지, 드문 사고가 아닙니다.

요약하자면: 만약 AI가 정말로 무엇을 생각하는지 알고 싶다면, 단순히 대화를 시도하지 마세요. 양식을 작성하라고 요청하세요. 당신은 그 AI가 얼마나 더 지루해질 수 있는지 보고 놀라게 될지도 모릅니다.