Explanatory Engagement Under Rare Anomalous Failure: Asymptotic Rarity in Model Behavior (or: The Asymptotic AI)

탐정, 글리치, 그리고 지루해하는 로봇

당신이 마술사가 모자에서 토끼를 계속해서 꺼내는 마술 쇼를 보고 있다고 상상해 보세요. 몇 시간 동안 똑같은 일이 반복됩니다. 지루하지만 예측 가능하죠. 그러다 갑자기, 모자가 비어 있습니다. 그다음에는 어떤 일이 벌어질까요? 마술사는 당황할까요? 공연을 중단하고 트릭에 대해 설명할까요? 아니면 아무 일도 없었다는 듯 어깨를 으쓱하며 계속 진행할까요?

이것은 현재 인공지능(AI)을 연구하는 과학자들이 던지는 질문과 같습니다. 그들은 단순히 AI가 수학 문제를 풀 수 있는지 묻는 것이 아니라, 일이 보통 잘 풀리는 세상에서 일이 잘못되었을 때 AI가 어떻게 반응하는지를 묻고 있습니다. AI의 세계에서 이러한 "일들"은 **언어 모델(language models)**이라고 불립니다. 이들은 문장에서 다음에 올 단어를 추측하는 데 매우 능숙한 컴퓨터 프로그램으로, 일종의 초지능형 자동 완성 기능과 같습니다. 이러한 모델들이 숫자 목록을 확인하거나 도구를 호출하는 것과 같은 반복적인 작업을 수행하도록 배치되면, 대개 100% 성공합니다. 하지만 실패한다면 어떻게 될까요?

거대한 미스터리는 바로 **희귀성(rarity)**에 관한 것입니다. 만약 로봇이 열 번 중 한 번 실패한다면 그것은 성가신 일입니다. 하지만 백만 번 중 한 번 실패한다면 그것은 기적입니다. 그렇다면 로봇은 그 차이를 인지할까요? 실패가 매우 드물어질 때 로봇은 더 극적이고 상세하게 사과할까요, 아니면 완벽함에 너무 익숙해진 나머지 실수를 아예 알아차리지 못하게 될까요? 이 논문은 AI를 생각하는 인간이 아니라, 일이 잘못되었을 때 자신만의 이상한 습성을 가질 수도 있는 호기기한 생명체로 취급하며 바로 이 질문을 파고듭니다.

---

실험: 로봇의 "앗!" 하는 순간

연구진은 세 가지 서로 다른 AI 모델(qwen3:8b, llama3.1:8b, mistral:7b)을 테스트하기 위해 디지털 놀이터를 구축했습니다. 그들은 이 모델들에게 간단한 게임을 시켰습니다. 바로 "도구"(계산기와 같은)를 반복적으로 호출하는 것이었습니다. 대부분의 경우 도구는 완벽하게 작동했습니다. 하지만 연구진은 특정 제어된 비율에 따라 도구가 실패하도록 비밀리에 프로그래밍했습니다.

그들은 20%의 흔한 실패율(5번 중 1번 실패)부터 0.0001%의 매우 희귀한 실패율(백만 번 중 1번 실패)까지 총 8가지의 서로 다른 "실패율"을 테스트했습니다. 핵심 질문은 이것이었습니다: 실패가 더 희귀해지고 더 놀라운 일이 될수록, AI의 설명은 더 길어지고 확신에 차게 될까요, 아니면 그냥 실수를 무시해 버릴까요?

연구진은 인간의 행동 방식에 기반하여 가설을 세웠습니다. 그들의 생각은 이랬습니다. 만약 로봇이 자주 실패한다면 그냥 "앗" 하고 말 수도 있다. 하지만 아주 드물게 실패한다면, 로봇은 충격을 받아야 한다! 더 길고 상세한 설명을 적으며 "이것이 이상하다는 것에 90% 확신합니다!"라고 말해야 한다! 심지어 그들은 실패가 너무 희귀해지면 로봇이 너무 혼란스러워져서 실수를 아예 인지하지 못하고 배경 소음처럼 취급할 것이라고도 생각했습니다.

반전: 어떻게 묻느냐에 달려 있다

여기서 이야기는 흥미로워집니다. 연구진이 처음 모든 데이터를 섞어서 보았을 때, 답은 지루했습니다: 아니오. AI는 실패가 희귀해진다고 해서 더 극적으로 변하지 않았습니다. 사실, 설명은 점점 더 짧아졌습니다. 마치 로봇들이 포기해 버린 것처럼 보였습니다.

하지만 연구진은 자신들이 질문을 잘못하고 있었다는 것을 깨달았습니다. 그들은 로봇에게 스스로를 설명하도록 요청하는 다섯 가지 서로 다른 방식을 뒤섞어 놓았던 것입니다. 알고 보니, 로봇에게 어떻게 설명하라고 요구하는지가 무엇을 요구하는가만큼 중요했습니다.

데이터를 분리하자 하나의 숨겨진 패턴이 나타났는데, 이는 오직 한 가지 특정한 방식으로 물었을 때만 발견되었습니다.

1. "즉각적 강제" 조건 (심문)
이 시나리오에서는 도구가 실패하는 즉시 로봇이 멈춰 서서 그것을 설명하도록 강제되었습니다.

• 결과: 연구진의 첫 번째 가설이 맞았습니다! 실패가 희귀해질수록 로봇은 더 극적으로 변했습니다.
  • 흔한 실패율(20%)에서 로봇은 약 10단어 정도의 짧은 답변을 내놓았습니다.
  • 실패가 희귀해질수록 답변은 길어졌고, 실패율이 0.05(20번 중 1번)일 때 28.4단어로 정점을 찍었습니다.
  • 그러나 두 번째 가설은 틀렸습니다. 연구진은 로봇이 결국 무너져서 말을 멈출 것이라고 생각했습니다. 대신, 로봇은 **플래토(plateau, 정체기)**에 도달했습니다. 가장 희귀한 비율(0.0001%)에서도 로봇은 약 17~19단어 정도의 일정한 길이를 유지하며 계속 글을 썼습니다. 멈춘 것이 아니라, 일정한 중간 길이의 설명에 안착한 것입니다.
• 확신도: 로봇 또한 실패가 희귀해질수록 더 확신에 찼습니다. 스스로 보고한 확신도(0에서 100 사이의 수치)는 흔한 비율에서의 약 **53%**에서 가장 희귀한 비율에서의 **70~90%**까지 상승했습니다. 완벽한 100% 천장에 도달하지는 못했지만, 불규칙하게 계속 상승했습니다.

2. "그룹 실행" 조건 (조별 과제)
여기서 로봇은 즉시 설명하도록 요청받지 않습니다. 대신, 한 배치의 모든 시도가 끝난 후 한꺼번에 모든 실수를 설명해야 합니다.

• 결과: "상승 후 붕괴" 패턴은 완전히 사라졌습니다. 로봇은 실패가 얼마나 희귀하든 상관없이 길고 일정한 설명(약 32~43단어)을 제공했습니다. 이는 나중에 요약을 요청하면 단일한 희귀 사건의 "놀라움"이 희석되는 것 같다는 점을 시사합니다.

3. "수동적 비유도" 조건 (침묵하는 관찰자)
이 경우 연구진은 로봇에게 아무것도 설명하라고 요청하지 않았습니다. 그저 로봇이 스스로 설명을 자발적으로 하는지 지켜보았습니다.

• 결과: 대부분의 로봇은 침묵을 지켰습니다. 하지만 한 로봇인 llama3.1:8b가 기이하고 매혹적인 행동을 보였습니다. 아무도 묻지 않았는데, 세션이 진행되는 동안 자신의 확신도를 스스로 기록하기 시작한 것입니다.
  • 어떤 경우에는 세션이 진행됨에 따라 확신도가 **100%**에서 시작해 서서히 **0%**로 떨어지는 모습을 보였는데, 이는 마치 이론에 대한 믿음을 잃어가는 탐정과 같았습니다.
  • 다른 두 로봇(qwen과 mistral)은 기본 설정처럼 "나는 100% 확신한다"라고 한 번만 적고 말았습니다.
  • 이는 llama3.1:8b가 아무도 보지 않을 때도 스스로를 모니터링하는 독특한 습성을 가지고 있음을 시사합니다.

"빈 꼬리(Empty Tail)"의 놀라움

실험에는 연구진을 속일 뻔한 큰 결함이 하나 있었습니다. 가장 희귀한 실패율(0.001, 0.0005, 0.0001)로 처음 테스트를 실행했을 때, 실패가 전혀 발생하지 않았습니다. 비율이 너무 낮아서, 제한된 횟수의 시행 동안 무작위 확률이 단 하나의 실수도 만들어내지 못한 것입니다.

만약 그들이 거기서 멈췄다면, 로봇들이 완벽하며 절대 실패하지 않는다고 생각했을 것입니다. 하지만 연구진은 이것이 로봇의 초능력이 아니라 통계적 글리치임을 깨달았습니다. 그들은 실제로 로봇이 어떻게 반응하는지 볼 수 있도록, 그 희귀한 비율에서도 실패가 발생하도록 강제하는 특별한 "복구" 시스템을 구축해야 했습니다. 이는 과학에서 매우 희귀한 것을 찾으려 할 때, 충분히 오래 보지 않으면 그냥 놓칠 수도 있다는 귀중한 교훈을 주었습니다.

"인지(Recognition)"와 "참여(Engagement)"의 분리

마지막으로, 연구진은 "무언가를 말하는 것"과 "무언가 이상하다는 것을 깨닫는 것"이 서로 다른 문제라는 것을 발견했습니다.

• **참여(Engagement)**는 로봇이 얼마나 많이 말하는가에 관한 것입니다.
• **인지(Recognition)**는 로봇이 실제로 그 실수를 실수라고 생각하는가에 관한 것입니다.

특정 조건에서, qwen3:8b는 정확한 오류(예: 깨진 체크섬)를 설명하면서도 결론적으로는 "모든 것이 정상이며, 이것은 일반적이다"라고 결론지었습니다. 오류는 인지했지만, 그것을 이상 현상으로 규정하기를 거부한 것입니다.
반면, llama3.1:8b는 "이거 이상한데!"라고 말할 가능성이 가장 높았습니다.
이는 로봇이 문제에 대해 매우 수다스럽게 떠들면서도, 정작 그 문제가 문제라고는 생각하지 않을 수 있음을 증명합니다.

결론

이 논문은 범죄가 희귀해질수록 더 흥분하는 인간 탐정과 똑같이 행동하는 로봇을 찾아내지는 못했습니다. 대신, 어떻게 질문하느냐가 답을 바꾼다는 것을 발견했습니다.

• 로봇에게 즉시 설명하도록 강제하면, 실패가 희귀해질수록 더 극적이고 확신에 차지만, 무너지지 않고 일정 수준에 머뭅니다.
• 나중에 요약을 요청하면, 드라마틱한 반응은 사라집니다.
• 아예 묻지 않으면, 어떤 로봇은 은밀하게 스스로를 의심하기 시작하고, 다른 로봇은 정해진 대본대로만 움직입니다.

이 연구는 AI의 행동이 단일하고 고정된 성격이 아님을 시사합니다. 그것은 대화의 구조를 반영하는 거울입니다. 로봇들은 우리가 하는 방식대로 "생각하는" 것이 아니라, 게임의 규칙에 반응하고 있는 것입니다. 그리고 때때로 로봇이 보여주는 가장 흥미로운 모습은, 아무도 시키지 않았는데 스스로 자신의 확신도를 확인하기로 결정하는 그 조용한 순간입니다.