From Checklists to Clusters: A Homeostatic Account of AGI Evaluation

당신이 무엇이 사람을 "똑똑하게" 만드는지 이해하려고 노력하고 있다고 상상해 보십시오. 오랫동안 과학자들은 사람들에게 다양한 과업들—수학 퍼즐 풀기, 이야기 기억하기, 도형의 패턴 찾아내기, 언어 이해하기 등—의 거대한 목록을 주는 방식으로 이를 측정하려 노력해 왔습니다. 그들은 이것들을 "도메인(영역)"이라고 부릅니다. 아이디어는 만약 당신이 이 모든 것들을 잘 해낸다면 지능이 높다는 것입니다. 하지만 여기에는 함정이 있습니다. 우리가 이 테스트들을 실시할 때, 우리는 보통 각각의 과업이 모두 똑같이 중요하다고 간질 취급한다는 점입니다. 이것은 마치 학생의 성적을 매길 때 신발 끈을 묶는 능력과 시를 쓰는 능력에 똑같은 비중을 두어 채점하는 것과 같습니다. 또한, 이 테스트들은 대개 "스냅샷(단면)"입니다. 당신은 테스트를 한 번 치르고 점수를 얻으면 그것으로 끝입니다. 당신은 그 학생이 다음 주에도 여전히 퍼즐을 풀 수 있을지, 혹은 테스트를 조금 더 어렵게 만들거나 며칠 뒤에 다시 시도하게 하면 무너져 버릴지 알 수 없습니다.

이것이 인공 일반 지능(AGI) 평가의 세계입니다. AGI는 인간처럼 똑똑하고 유연하며, 단순히 프로그래밍된 상황뿐만 아니라 어떤 상황에서도 학습하고 문제를 해결할 수 있는 컴퓨터를 구축하려는 꿈입니다. 현재 연구자들은 바로 이러한 "스냅샷" 체크리스트를 사용하여 이 AI 시스템들을 테스트하고 있습니다. 하지만 만약 우리가 AI가 진정으로 "일반적인" 지능을 가졌는지 알고 싶다면, 우리는 그들의 똑똑함이 진짜이고 지속적인 것인지, 아니면 스트레스 상황에서 깨져버리는 운 좋은 속임수에 불과한 것인지 알아야 합니다. 이 논문은 큰 질문을 던집니다: 어떻게 하면 우리는 단순히 점수를 세는 것을 넘어, 기계의 정신이 가진 "안정성"을 측정하기 시작할 것인가?

이 논문의 저자들은 우리가 현재 AI를 테스트하는 방식이 마치 자동차가 햇빛이 내리쬐는 날 직선 도로를 얼마나 빨리 달릴 수 있는지만으로 자동차를 판단하는 것과 같다고 제안합니다. 그것은 빨라 보일 수 있지만, 울퉁불퉁한 길에서도 엔진이 버텨낼지, 혹은 비가 올 때 브레이크가 작동할지는 알려주지 않습니다. 그들은 진정한 지능—인간이든 기계든—은 단지 기술의 목록이 아니라고 주장합니다. 대신, 그것은 더 마치 **항상성 속성 클러스터(homeostatic property cluster)**와 같습니다. 그것은 아주 어려운 말이지만, 상황이 엉망이 되거나 변하더라도 그들을 연결된 상태로 유지하는 내부 메커니즘 덕분에 능력들이 서로 결합되어 있는 상태를 의미합니다.

지능을 잘 만들어진 캠프파이어라고 생각해 보십시오. "도메인"(수학, 언어, 논리)은 장작입니다. 하지만 불 자체는 그 모든 장작을 함께 타오르게 만드는 열과 불꽃입니다. 만약 당신이 장작(기술)을 쌓아두기만 하고 그것을 계속 타오르게 할 메커니즘(항상성 부분)을 갖추지 못한다면, 작은 바람(스트레스 요인이나 지연)에도 불은 꺼져버릴 것입니다. 논문은 현재의 테스트들이 장작이 있는지만 확인할 뿐, 불이 바람을 견뎌낼 수 있는지 여부는 무시한다고 제안합니다.

저자들은 이를 고치기 위해 두 가지 주요 변화를 제안합니다. 첫째, 모든 테스트 질문이 똑같이 중요하다고 취급해서는 안 된다고 말합니다. 어떤 장작이 더 밀도가 높고 뜨겁게 타오르는지처럼, 어떤 기술들은 전체 시스템을 유지하는 데 더 "중심적"입니다. 그들은 **중심성 우선 점수(centrality-prior score)**라는 새로운 채점 방식을 사용하는 것을 제안합니다. 이는 인간의 지능이 이미 연구되는 방식에서 아이디어를 빌려와, 특정 기술이 전체 시스템의 안정성을 유지하는 데 얼마나 도움이 되는지에 따라 테스트의 비중을 달리하는 것입니다. 이것은 마치 학생의 능력을 평가할 때 단 하나의 사실을 암기하는 능력보다 새로운 것을 배우는 능력에 더 높은 비중을 두어 채점하는 것과 같습니다.

둘째, 그들은 단 한 번의 스냅샷에 의존하는 것을 멈추고자 합니다. 대신, **클러스터 안정성 지수(Cluster Stability Index)**를 제안합니다. 이것은 단지 한 번 높은 점수를 받는 것에 관한 것이 아닙니다. 그것은 AI가 시간이 지나도, 그리고 압박 속에서도 그 점수를 유지할 수 있음을 증명하는 것에 관한 것입니다. 그들은 세 가지 구체적인 방식으로 AI를 테스트할 것을 제안합니다:

1. 프로필 지속성(Profile Persistence): AI가 며칠 또는 몇 주가 지난 후에도 하는 법을 기억하는가?
2. 내구 학습(Durable Learning): 만약 무언가를 가르쳤을 때, 그것이 머물러 있는가, 아니면 즉시 잊어버리는가?
3. 오류 수정(Error Correction): 만약 AI가 실수를 했다면, 스스로 무너지지 않고 그것을 고칠 수 있는가?

이 논문은 아직 완벽한 테스트를 만들었다거나 우리가 이미 AGI를 측정하는 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 저자들은 이러한 새로운 방법들이 더 나을 것이라고 제안합니다. 그들은 실험실들이 이러한 아이디어들을 시도해 볼 수 있도록 청사진을 제공합니다. 그들은 이러한 테스트들이 실험실이 내부의 AI가 어떻게 구성되어 있는지 정확히 모르는 상태에서도("블랙박스" 접근법) 수행될 수 있다고 제안합니다. 또한 그들은 이러한 새로운 테스트를 사용했을 때 어떤 일이 일어날지에 대한 예측을 내놓는데, 이는 많은 현재의 AI 시스템들이 안정성과 스트레스 저항력을 체크하기 시작하면—아마도 훨씬 덜 "일반적으로" 지능적이고 더 취약한 모습으로—보이게 될 것임을 시사합니다.

요약하자면, 이 논문은 우리가 체크박스에 체크를 하는 것에서 벗어나 불꽃이 계속 타오르는지를 확인하는 단계로 넘어가야 한다고 주장합니다. 중요한 기술에 더 높은 비중을 두고, 지연과 실수를 처리할 수 있는지 테스트함으로써, 우리는 마침-나면 정말로 똑똑한 것인지 아니면 그저 똑똑한 척하는 것인지에 대한 더 명확한 그림을 얻을 수 있을 것입니다.