Grounding Without Corrective Control: Truth-Tracking Profiles for Large Language Models

지도 vs. 나침반: 길을 아는 것과 그 길을 직접 걷는 것이 왜 다른가

당신이 로봇에게 도시를 항해하는 법을 가르치려 한다고 상상해 보십시오. 당신에게는 두 가지 주요 방법이 있습니다. 첫 번째는 수천 명의 사람들이 수백 년에 걸쳐 그린, 아주 완벽하고 거대한 도시 지도를 로봇에게 주는 것입니다. 로봇은 모든 거리, 모든 건물, 그리고 모든 지름길을 암기합니다. 로봇은 지도를 완고하게 읊을 수 있고, 심지어 예전 지도와 똑같이 생긴 새로운 지도를 그려낼 수도 있습니다. 이것은 많은 인공지능 시스템이 학습하는 방식과 같습니다. 그들은 수십억 페이지의 인간 텍스트을 읽으며 사람들이 써 내려간 패턴, 사실, 그리고 이야기를 흡수합니다.

두 번째 방법은 로봇에게 살아있는 나침반과 한 쌍의 눈을 주는 것입니다. 이를 통해 로봇은 지금 당장 세상을 보고, 공사 때문에 도로가 폐쇄되었는지 알아차리거나, 길을 잘못 들었음을 깨달을 수 있습니다. 이것은 정적인 세계의 기록을 갖는 것과 실시간 연결을 갖는 것의 차이입니다. 과학자들은 오랫동안 AI가 진정으로 무언가를 "아는" 것인지, 아니면 그저 숙련된 흉내를 내는 것인지에 대해 논쟁해 왔습니다. 이 논문은 단순히 AI가 지도를 가지고 있는지를 묻는 것이 아니라, AI가 나침반을 가지고 있는지를 묻습니다. 이 논문은 설령 AI가 완벽한 지도(콘텐츠)를 가지고 있더라도, 자신의 작업을 확인할 '실시간 경로'가 없다면 변화하는 현실 세계에 대해 눈먼 상태일 수 있다고 제안합니다. 이러한 구분을 이해하는 것은 우리가 언제 AI의 답변을 신뢰할 수 있고, 언제 스스로 재확인해야 하는지를 알려준다는 점에서 매우 중요합니다.

---

논문의 핵심 아이디어: "라이브 와이어(Live Wire)" 테스트

이 논문의 저자인 브렛 레이놀즈(Brett Reynolds)는 현재 우리가 사용하는 초지능형 AI 챗봇인 대규모 언어 모델(LLM)을 바라보는 새로운 방식을 제안합니다. 그는 우리가 "이 AI가 진실을 아는가?"라고 묻는 것을 멈추고, "이 AI가 진실로 연결된 라이브 와이어(실시간 연결선)를 가지고 있는가?"라고 묻기 시작해야 한다고 주장합니다.

AI를 세상의 모든 레시피를 암기한 아주 유능한 요리사라고 생각해 보십시오. 당신이 초콜릿 케이크를 요청하면, 요리사는 재료, 온도, 그리고 굽는 시간을 완벽하게 설명할 수 있습니다. 이것이 **그라운딩(Grounding, 근거 설정)**입니다. 요리사의 지식은 그들이 읽은 수백만 권의 요리책에 "근거"를 두고 있습니다. 하지만 여기에는 함정이 있습니다. 만약 당신이 요리사에게 "지금 오븐이 뜨겁습니까?"라거나 "오늘 아침에 제빵사가 레시피를 바꿨나요?"라고 묻는다면, 요리사는 모를 수도 있습니다. 그들은 책을 읽는 것을 멈추기 전에 적혀 있던 내용만을 알 뿐입니다. 그들에게는 주방으로 연결된 라이브 와이어가 없습니다.

레이놀즈는 이 누락된 연결을 **교정 제어(Corrective Control)**라고 부릅니다. 이는 작업 수행 중에 발생한 새로운 실수를 포착하고 수정하는 능력입니다.

• 파생적 답변 가능성(Derivative Answerability): 이는 AI가 과거에 인간이 했던 수정을 물려받았기 때문에 정답을 맞히는 경우입니다. AI가 "하늘은 푸르다"라고 말한다면, 그것은 수 세기 동안 인간이 책 속에서 그 사실을 바로잡아 왔기 때문입니다. AI는 인간의 진실이라는 이름의 뒷덜미를 잡고 올라타 있는 것입니다.
• 실시간 답변 가능성(Live Answerability): 이는 AI가 지금 당장 하늘을 직접 확인할 수 있는 경우를 말합니다. 만약 폭풍우 때문에 하늘이 실제로 회색빛이라면, 실시간 답변 능력을 갖춘 시스템은 그 회색을 보고 자신의 답변을 업데이트합니다.

이 논문은 현재 대부분의 AI 설정이 눈 없는 요리사와 같다고 제안합니다. 그들은 역사를 읊는 데는 뛰어나지만, 세상이 변하거나 특정하고 신선한 사실을 확인해야 할 때는 자주 실패합니다.

"진실 추적"을 위한 5단계 체크리스트

레이놀즈는 AI 시스템이 진실에 대한 "라이브 와이어"를 갖추기 위해 무엇이 필요한지 상세히 설명합니다. 그는 이를 **경로 프로필(Route Profile)**이라고 부릅니다. AI를 자동차라고 상상해 보십시오. 안전하게 운전하기 위해서 자동차는 단순히 지도만 필요한 것이 아니라, 도로를 볼 수 있는 운전자가 필요합니다. 레이놀즈는 자동차가 실제로 주행할 수 있는지를 결정하는 다섯 가지 특징을 나열합니다.

1. 대상 접근성(Target Access): 시스템이 실제로 자신이 말하고 있는 대상을 볼 수 있는가? (자동차에 앞 유리가 있는가?)
2. 탐지 가능성(Detectability): 무언가 잘못되었다는 것을 알아차릴 수 있는가? (운전자가 빨간불을 보는가?)
3. 점검 경로의 독립성(Checking-Route Independence): 작업을 수행하는 사람과 점검하는 사람이 서로 다른가? (만약 운전자가 도로 표지판을 그리는 사람까지 겸하고 있다면, 스스로를 속일 수 있습니다. 별도의 눈이 필요합니다.)
4. 속성 규명(Attribution): 시스템이 정확히 무엇이 잘못되었는지 파악할 수 있는가? (운전자가 빨간불을 본 것인가, 아니면 단순히 덜컹거림을 느낀 것인가?)
5. 효과적 수용(Effective Uptake): 시스템이 발견한 내용을 바탕으로 실제로 행동을 바꿀 수 있는가? (만약 운전자가 빨간불을 봤음에도 브레이크가 고장 났다는 이유로 계속 주행한다면, 그 시스템은 실패한 것입니다.)

만약 AI가 이 다섯 가지를 모두 갖추었다면, 그것은 교정 제어 능력을 갖춘 것입니다. 그것은 새로운 오류를 포착하고 수정할 수 있습니다. 만약 일부만 갖추었거나, 그 "점검"이 단지 과거의 실수를 반복하는 것에 불과하다면, 아무리 똑똑해 보여도 실시간으로 진실을 추적할 수 없습니다.

도구를 추가하면 어떤 일이 벌어지는가?

이 논문은 사람들이 AI를 개선하기 위해 시도하는 다양한 방식들, 예를 들어 인터넷 접속(검색/Retrieval), 계산기 사용(도구/Tools), 또는 이미지 입력(멀티모달/Multimodal Input) 등을 살펴봅니다. 레이놀즈는 이러한 도구들이 위의 5단계 체크리스트 중 특정 공백을 채울 수 있을 때만 도움이 된다고 주장합니다.

• 검색(도서관): 만약 AI에게 실시간 연결이 가능한 도서관을 준다면, 오래된 사실을 찾는 데는 더 나아질 것입니다. 하지만 그 도서관이 낡은 책들로 가득 차 있다면, AI는 여전히 과거에 갇혀 있는 것입니다. 이는 "기록 접근"에는 도움이 되지만, AI가 물리적 대상을 측정해야 하는 상황에는 도움이 되지 않습니다.
• 도구(계산기): 만약 AI가 코드를 실행하거나 계산기를 사용할 수 있다면, 수학을 더 잘하게 됩니다. 하지만 도구가 고장 났거나 AI가 잘못된 도구를 선택한다면, 그것은 여전히 추측에 불과합니다.
• 멀티모달(눈): 만약 AI가 사진을 볼 수 있다면, 눈앞에 있는 것을 묘사하는 데 더 능숙해집니다. 하지만 사진을 보는 것이 사진 속 물체의 온도를 측정할 수 있다는 의미는 아닙니다.

논문은 단순히 더 많은 도구를 추가한다고 해서 AI가 자동으로 더 "똑똑해지거나" 더 "진실해지는" 것은 아니라고 제안합니다. 특정 도구가 특정 작업에 부합할 때만 도움이 됩니다. 만약 당신이 AI에게 액체의 양을 측정하라고 요구한다면, 도서관(검색)을 주는 것은 도움이 되지 않습니다. 자(Rule)라는 도구가 필요합니다. 만약 노을을 묘가해 달라고 한다면, 자를 주는 것은 도움이 되지 않습니다. 눈(멀티모달)이 필요합니다.

"문어"와 "이지(Izzy)" 문제

이 논문은 자신의 논점을 설명하기 위해 두 가지 유명한 사고 실험을 사용합니다.

• 문어: 수조 속에 살며 두 섬 사이를 잇는 케이블로 연결된 문어를 상상해 보십시오. 문어는 섬에 있는 사람들이 대화하는 소리는 들을 수 있지만, 그들을 보거나 만질 수는 없습니다. 문어는 사람들이 무엇을 말할지 예측하는 법을 배웁니다. 문어는 인간과 똑같이 말할 수 있지만, 그 단어들이 현실 세계에서 무엇을 의미하는지는 전혀 모릅니다.
• 이지(Izzy): 태어날 때부터 텍스트 화면만 있는 방에 갇혀 지낸 인간 이지를 상상해 보십시오. 이지는 화면의 텍스트로부터 모든 것을 배웁니다. 이지는 세상에 대해 완벽하게 말할 수 있지만, 나무를 본 적도 비를 느껴본 적도 없습니다.

레이놀즈는 문어와 이지 모두 "콘텐츠"는 가질 수 있지만(단어는 알지만), 교정 제어 능력이 부족하다고 주장합니다. 세상이 변하더라도 그들은 알 수 없습니다. 그들은 과거로부터 물려받은 "상속된" 진실에 갇혀 있습니다.

결론: 이것이 왜 중요한가

이 논문은 AI가 "가짜"라거나 유용할 수 없다고 주장하는 것이 아닙니다. 다만 우리가 AI를 어떻게 신뢰해야 하는지에 대해 주의를 기울여야 한다고 제안합니다.

• 역사나 스타일에 관한 작업이라면: AI의 "상속된" 지식(지도)은 대개 충분합니다. AI는 멋진 이야기를 쓰거나 오래된 사실을 요약할 수 있습니다.
• 지금 당장의 현실 세계에 관한 작업이라면: AI에게는 "라이브 와이어"가 필요합니다. 그것이 없다면, AI는 단지 오래된 패턴에 기반해 추측할 뿐이므로 자신 있게 틀린 말을 할 수 있습니다.

레이놀즈는 우리가 단순히 AI가 얼마나 유창하게 들리는지만을 보아서는 안 된다고 제안합니다. 우리는 AI의 경로 프로필을 보아야 합니다. 그것이 사실로 향하는 실시간 경로를 가지고 있는가? 자신의 작업을 스스로 점검할 수 있는가? 만약 우리가 이러한 실시간 경로를 AI 시스템에 구축하지 않는다면, 우리는 현실과는 완전히 동떨어진 채 매우 유창한 답변만을 얻게 될 것입니다. 논문은 결론적으로 AI가 "콘텐츠"를 가질 수는 있지만, "교정 제어"를 갖는 것은 별개의 더 어려운 과제이며, AI와 변화하는 세상 사이의 구체적인 구조적 가교를 만드는 작업이 필요하다고 밝히고 있습니다.