로봇 집사를 만든다고 상상해 보세요. 로봇 공학의 초기 시절, 우리는 실험실이라는 무균 상태에서 테스트를 진행했습니다. 우리는 로봇에게 깨끗한 컵을 주고, 그것을 씻으라고 시킨 뒤, 컵을 깨뜨리지 않고 해내는지 확인했습니다. 만약 통과했다면, 그 로봇은 "훌륭한" 것이었습니다. 하지만 현실 세계는 실험실처럼 깨끗하지 않습니다. 현실은 무질서합니다. 당신의 로봇 집사는 당신과 함께 삽니다. 로봇은 당신이 커피에 설탕 두 스푼을 넣는 것을 좋아한다는 것, 불빛이 깜빡이는 것을 싫어한다는 것, 그리고 스마트 냉장고를 여는 특정한 동작을 배웠다는 것을 기억합니다. 로봇은 당신의 습관에 대한 장기적인 기억과 당신의 집만을 위해 익힌 일련의 기술들을 가지고 있습니다.

이제, 스마트 냉장고 제조사가 문이 열리는 방식을 변경하는 소프트웨어 업데이트를 보냈다고 상상해 보세요. 예전의 실험실 테스트였다면, 로봇은 그저 문을 한 번 여는 데 실패하고 멈췄을 것입니다. 하지만 당신의 집에서는 로봇이 패닉에 빠질 수 있습니다. 왜냐하면 로봇은 '예전 방식'을 기억하고 있기 때문입니다. 로봇은 문을 강제로 열려고 시도하다가 손잡이를 부수고, 혼란에 빠진 나머지 실수로 당신의 커피를 쏟을 수도 있습니다. 문제는 단순히 로봇이 실패했다는 것이 아닙니다. 로봇의 '개인적인 기억'과 '학습된 습관'이 그 실패를 삶의 다른 부분으로 확산시켰다는 점입니다. 이 논문은 로봇이 단순히 과업을 수행할 수 있는지뿐만 아니라, 세상이 변할 때 이러한 개인적이고 무질서하며 기억이 뒤섞인 재난 상황을 어떻게 다루는지 테스트하는 방법에 관한 것입니다.

논문: 왜 당신의 로봇 집사가 당신을 잊어버릴 수 있는가 (그리고 왜 우리에게 새로운 테스트가 필요한가)

카네기 멜론(Carnegie Mellon)과 조지아 공대(Georgia Tech) 등지의 연구진으로 구성된 이 논문의 저자들은 "개인용 AI 에이전트(Personal AI Agents)"를 테스트하는 방식에 존재하는 특정 사각지대를 살펴보고 있습니다. 이들은 당신을 알고, 당신의 선호도를 기억하며, 시간이 흐름에 따라 당신의 루틴을 학습하도록 설계된 화려한 AI 비서들입니다.

현재 과학자들이 이러한 AI 에이전트를 테스트할 때, 그들은 이들을 별개의 고립된 기계처럼 취급합니다. AI가 당신의 생일을 기억하는지 보는 "기억 테스트(Memory Test)", AI가 계산기를 사용할 수 있는지 보는 "도구 테스트(Tool Test)", 그리고 AI가 무례한 말을 거부하는지 보는 "안전 테스트(Safety Test)"가 있습니다. 하지만 저자들은 이것이 자동차의 브레이크, 엔진, GPS를 각각 다른 날, 서로 다른 차고에서 따로 테스트한 뒤 "좋습니다, 이 차는 안전합니다!"라고 말하는 것과 같다고 주장합니다.

현실에서는 이 모든 것들이 연결되어 있습니다. 만약 GPS가 업데이트되면(즉, "시간적 개입(temporal intervention)"이 발생하면), 이는 엔진을 혼란스럽게 할 수 있고, 결과적으로 브레이크를 작동 불능 상태로 만들 수 있습니다. AI의 세계에서도, 만약 API(AI가 사용하는 도구)가 변경된다면, 과거의 도구에 대한 "기억"을 가진 AI는 예전의 지침을 사용하려 할 것이고, 이는 그 AI가 익혔던 기술을 망가뜨리거나, 심지어 지켜야 할 안전 규칙을 위반하는 결과로 이어질 수 있습니다.

핵심 발견: "퍼펙트 스톰(Perfect Storm)" 테스트는 존재하지 않는다

연구진은 이러한 특유의 무질서함을 잡아낼 수 있는 테스트를 찾고자 했습니다. 그들은 "퍼펙트 스톰" 테스트가 갖춰야 할 네 가지 규칙을 정했습니다:

1. 변화(The Change): AI가 작업하는 동안 세상의 무언가가 변해야 한다 (예: 도구 업데이트).
2. 기억(The Memory): AI가 그 변화를 관통하여 자신의 개인적인 이력(기억, 기술, 설정)을 유지해야 한다.
3. 파급 효과(The Ripple): 그 변화가 AI가 수행하던 '다른' 작업들을 어떻게 망가뜨리는지 측정해야 한다 (예: 기억이 도구의 실패를 유발하는 경우).
4. 사람(The Person): 동일한 변화가 사람마다 다르게 영향을 미친다는 것을 보여야 한다. AI를 많이 의존하지 않는 "라이트 유저(light user)"는 괜찮을 수 있지만, AI에게 자신의 삶 전체를 기억하게 한 "파워 유저(power user)"는 완전히 무너질 수 있다.

저자들은 탐정 놀이를 시작했습니다. 그들은 현재 나와 있는 가장 유명하고 공개된 15개의 AI 에이전트 테스트들을 조사했습니다. 그리고 이 테스트들을 위의 네 가지 규칙에 대조해 보았습니다.

결과는 어떠했을까요? 네 가지 규칙을 모두 통과한 테스트를 단 하나도 찾지 못했습니다.

이것은 마치 운전자가 문자를 보내고 있고, 라디오 소리가 크게 울리고 있으며, GPS가 경로를 재탐색하는 와중에 자동차 충돌 테스트를 진행하면서, 동시에 다양한 유형의 운전자들이 어떻게 반응하는지를 종합적으로 테스트하는 자동차 충돌 테스트를 찾는 것과 같습니다. 그들은 충돌에 대한 테스트, 문자 메시지에 대한 테스트, GPS에 대한 테스트는 찾았습니다. 하지만 개인적 맥락이 결과에 어떻게 변화를 주는지 결합하여 보여주는 테스트는 단 하나도 찾지 못했습니다.

이것이 왜 중요한가

이 논문은 이러한 새로운 테스트가 없다면 우리가 눈을 가린 채 비행하고 있는 것과 같다고 제안합니다. 우리는 실험실에서는 완벽해 보이지만, 현실 세계에서는 "개인적 상태(personal state, 즉 기억과 습관)" 때문에 매우 취약해지는 AI를 만들 수도 있습니다.

이를 해결하기 위해 저자들은 테스트를 설계하는 새로운 방법을 제안합니다. 테스트를 위한 "사용자 프로필"을 만드는 것입니다. 예를 들어, 동일한 AI에 대해 두 가지 버전을 가진 테스트를 상상해 보세요:

• 사용자 A (라이트 유저): 특별한 기억이나 기술이 없습니다. 도구가 변경되었을 때, 그저 다시 시도하여 성공합니다.
• 사용자 B (파워 유저): 예전 도구에 대한 기억, 그 도구를 바탕으로 배운 기술, 그리고 예전 도구가 여전히 존재한다고 가정하는 안전 설정이 있습니다. 도구가 변경되면, 이 AI는 혼란에 빠져 예전 도구를 사용하려 시도하고, 실패하며, 이를 해결하려다 실수로 안전 규칙을 위반할 수 있습니다.

논문은 "적응 지연 시간(Adaptation Latency, 회복하는 데 걸리는 시간)"이나 "퇴보율(Regression Rate, 기존 작업이 갑자기 작동하지 않게 되는 비율)" 같은 것들을 측정할 것을 제안합니다. 그들은 심지어 데이터 저장 방식의 갑작스러운 변화를 다뤄야 하는 보고 보조원(reporting assistant)을 포함한 샘플 "벤치마크 카드(테스트를 위한 레시피)"를 만들었습니다.

결론

저자들은 아직 완벽한 AI를 만들었다고 주장하는 것이 아닙니다. 현재의 AI들이 고장 났다고 말하는 것도 아닙니다. 그들의 말은, "우리는 이 특정한 종류의 실패를 측정할 수 있는 자(ruler)를 가지고 있지 않다"는 것입니다. 그들은 개인용 AI가 단순한 도구가 아니라 기억을 가진 파트너이며, 세상이 변할 때 그 기억이 오히려 약점이 될 수 있다는 점을 고려한 더 복잡한 테스트를 구축할 것을 커뮤니티에 촉구하고 있습니다. 이러한 테스트를 구축하기 전까지, 우리는 우리의 개인용 AI 에이전트가 정말로 현실 세계에 준비되었는지 진정으로 알 수 없을 것입니다.