Temporal Reliability of ChatGPT-Generated Bilingual Texts: Implications for AI-Assisted Language Learning and Multilingual Information Access

당신에게 세상의 모든 언어를 구사하는 아주 똑똑하고 모든 것을 다 아는 로봇 친구가 있다고 상상해 보세요. 당신이 까다로운 문장을 번역해 달라고 부탁하자, 로봇은 완벽한 답을 내놓았습니다. 하지만 한 달 뒤에 똑같은 질문을 한다면 어떨까요? 로봇이 "소프트웨어 업데이트"를 받은 후에도 말이죠. 로봇은 여전히 같은 답을 내놓을까요, 아니면 무언가를 잊어버렸거나, 마음을 바꿨거나, 혹은 다른 스타일로 말하기 시작했을까요? 이것이 바로 인공지능(AI)과 언어의 세계에서 벌어지는 새로운 연구 뒤에 숨겨진 거대한 질문입니다.

과학자들은 이 초지능 로봇을 "대규모 언어 모델(LLM)"이라고 부릅니다. 이들은 글을 쓰고, 번역하고, 대화할 수 있는 디지털 두뇌와 같습니다. 보통 우리가 새로운 비디오 게임이나 새 휴대폰을 살 때, 우리는 최신 버전이 이전 것보다 더 나을 것이라고 기대합니다. 만약 어떤 회사가 "버전 5.0"을 출시한 뒤 "버전 6.0"을 출시한다면, 두 번째 것이 더 똑똑하고, 빠르고, 정확할 것이라고 가정합니다. 하지만 이 AI 로봇들의 경우, 상황이 항상 그렇게 단순하지는 않습니다. 이들은 우리가 알지도 못하는 사이에 보이지 않는 곳에서 끊임없이 수정되고 업데이트되며, 때로는 생각하거나 말하는 방식을 바꾸기도 합니다. 이 연구는 매우 중요한 질문을 던집니다. 만약 당신이 언어를 배우거나 외국어로 된 뉴스를 읽기 위해 AI의 도움을 받는다면, "최신" 버전이 실제로 가장 좋은 버전이라고 믿어도 될까요? 아니 혹은, 로봇이 어떤 부분에서는 더 좋아지면서도 동시에 다른 부분에서는 오히려 나빠지기도 하는 것일까요?

실험: 로봇의 기억력을 테스트하다

이를 알아내기 위해, 지한 푸(Zhihan Fu)라는 연구자는 인기 있는 AI 챗봇의 네 가지 다른 버전(GPT-5.0, GPT-5.4, GPT-5.5, GPT-5.6 Sol로 명명됨)을 가지고 "틀린 그림 찾기" 게임을 하기로 했습니다. 이 버전들을 몇 달 동안 찍은 동일한 인물의 서로 다른 네 가지 스냅샷이라고 생각하면 됩니다.

연구자는 단순히 로봇에게 채팅을 시킨 것이 아니라, 매우 구체적인 도전 과제를 주었습니다. 그는 세 가지 실제 사례 기사(금융 관련 기사 하나, 태양광 기술 관련 기사 하나, 정부 정책 관련 기사 하나)를 가져와서, 모든 버전의 로봇에게 이를 중국어에서 영어로 번역하도록 요청했습니다. 그는 모든 버전에 대해 정확히 동일한 지침을 사용했으며, 그들의 답변을 인간 전문가가 만든 "표준(gold standard)" 번역과 비교했습니다.

그는 번역을 평가하기 위해 두 가지 주요 방법을 사용했습니다:

1. "의미" 체크: COMET라는 도구를 사용하여 로봇의 의미가 인간 전문가의 의미와 얼마나 가까운지 확인했습니다. 모든 사실을 제대로 유지했나요?
2. "가독성" 체크: 텍스트를 읽기가 얼마나 쉬운지 측정했습니다. 너무 어렵지는 않았나요? 문장이 너무 길지는 않았나요? 적절한 단어를 사용했나요?

놀라운 결과: 로봇은 직선적으로 발전하지 않는다

결과는 마치 서로 다른 승객들을 태우고 위아래로 요동치는 롤러코스터를 보는 것과 같았습니다. 큰 놀라움은 새로운 버전의 AI가 자동으로 더 나아지는 것은 아니었다는 점입니다. 실제로 로봇의 성능은 어떤 주제에 대해 이야기하느냐에 따라 이상하고 예측 불가능한 방식으로 변했습니다.

로봇이 방문한 각 "세계"에서 일어난 일은 다음과 같습니다:

• 정부 규칙의 세계 (공공 정책): 이곳은 로봇이 의미를 정확하게 유지하는 데 있어 꾸준히 발전한 유일한 곳이었습니다. 새로운 버전이 나올 때마다 "의미" 점수는 올라갔고, 가장 최신 버전인 GPT-5.6 Sol에서 최고점에 도달했습니다. 하지만 함정이 있었습니다. 의미가 더 정확해질수록 텍스트는 읽기가 더 어려워졌습니다. 새로운 버전들은 문장이 매끄러운 이야기처럼 느껴지기보다는 딱딱한 법률 문서처럼 느껴지도록 더 복잡하고 투박한 스타일로 쓰기 시작했습니다.
• 돈의 세계 (금융): 여기서는 로봇이 한동안 꽤 안정적이었으나, GPT-5.5 버전에서 정점을 찍은 후 가장 최신 버전에서는 다시 약간 나빠졌습니다. 최신 버전이 이곳의 챔피언은 아니었습니다.
• 태양광 에너지의 세계 (기술): 이곳은 가장 격렬한 변화가 있었습니다. 로봇은 강하게 시작하여 버전 5.4에서 더욱 좋아졌지만, 그 이후의 모든 업데이트에서는 더 나빠졌습니다. 가장 최신 버전(GPT-5.6 Sol)이 도착했을 때, 의미를 유지하는 능력은 심지어 아주 첫 번째 버전보다도 떨어졌습니다! 그러나 최신 버전은 흥미로운 일을 해냈습니다. 길고 혼란스러운 문장들을 더 짧고 강렬한 문장들로 나누어, 실제로는 중요한 기술적 세부 사항을 놓치고 있음에도 불구하고 텍스트가 읽기 쉬워 보이게 만들었습니다.

핵심 결론: "최신"이 반드시 "최고"를 의미하지는 않는다

이 연구는 우리가 최신 AI 업데이트가 해당 작업에 가장 좋은 도구라고 그냥 가정해서는 안 된다는 것을 시사합니다. 이것은 마치 새로운 주방을 갖게 된 요리사와 같습니다. 아마도 새 오븐이 그들의 케이크 맛을 완벽하게 만들 수도 있지만, 새로운 칼은 채소를 써는 속도를 더 느리게 만들 수도 있습니다.

• 정부 텍스트의 경우: 최신 AI는 가장 정확하지만, 읽기는 가장 어렵습니다.
• 기술 매뉴얼의 경우: 최신 AI는 짧은 문장으로 글을 씁니다(보기에는 좋지만), 그러나 이는 실제로는 이전 버전들에 비해 의미를 놓치게 만듭니다.
• 금융 텍스트의 경우: 최신 버전이 아닌 중간 버전(GPT-5.5)이 가장 좋았습니다.

연구자는 로봇의 의미를 정확하게 유지하는 능력과 읽기 쉽게 만드는 능력이 종종 반대 방향으로 움직인다는 것을 발견했습니다. 때때로 텍스트를 더 정확하게 만드는 것이 이해하기 어렵게 만들었습니다. 또 다른 때에는 텍스트를 더 짧고 단순하게 만드는 것이 정확도를 떨어뜨렸습니다.

이것이 당신에게 중요한 이유

만약 당신이 언어를 배우기 위해 AI의 도움을 받는 학생이거나, 외국에서 온 뉴스를 읽으려는 사람이라면, 이 연구는 하나의 경고 라벨입니다. 이 연구는 우리가 최신 버전의 AI를 집어 들고 그것이 가장 똑똑하다고 가정해서는 안 된다고 말해줍니다. "최고"의 버전은 당신이 무엇을 하려고 하는지에 따라 전적으로 달라집니다.

만약 복잡한 정부 규칙을 이해해야 한다면, 최신 버전은 정확한 사실을 제공할 수는 있지만 혼란스러운 방식으로 전달할 수도 있습니다. 만약 기술 매뉴얼을 읽고 있다면, 최신 버전은 단순해 보일 수는 있지만 중요한 안전 경고를 놓쳤을 수도 있습니다. 이 연구는 우리가 이러한 AI 도구들을 계속해서 반복적으로 테스트하고, 특정 작업에 대해 검증해야 한다고 제안합니다. 왜냐하면 로봇은 업데이트될 때마다 그 성격이 변하기 때문입니다. "완벽한" AI 번역가는 아직 존재하지 않습니다. 대신, 우리는 끊임없이 변화하는 로봇을 가지고 있으며, 우리는 어떤 작업에 어떤 버전을 신뢰할지 주의 깊게 살펴봐야 합니다.