당신은 매우 똑똑하지만 약간 건망증이 있는 로봇의 사서라고 상상해 보세요. 이 로봇은 하루 종일 사람들의 대화를 듣고, 이메일을 읽고, 영상을 시청하며 시간을 보냅니다. 공간을 절약하고 더 빠르게 생각하기 위해, 로봇은 모든 단어를 다 저장하는 대신 "기억 노트"에 짧은 요약본을 작성합니다. 보통은 이 방식이 아주 잘 작동합니다. 하지만 가끔 로봇이 너무 의욕이 앞서서 정리를 과하게 할 때가 있습니다. 예를 들어, "누군가 앨리스가 승진했을 수도 있다고 말할지도 모른다"라는 소문을 들으면, 로봇은 이를 "앨리스는 매니저이다"라는 확정된 사실로 적어버립니다. 로봇이 거짓말을 한 것은 아닙니다. 단지 "일지도 모른다"나 "누군가 말했다"와 같은 단어들을 씻어내 버린 것뿐입니다. 이제 로봇은 소문을 진실이라고 믿게 되었고, 그 결과 앨리스가 자격도 갖추지 못했는데 서버실 열쇠를 내어줄 수도 있습니다. 이것이 바로 "팩트워싱(factwashing)"의 문제입니다. 즉, 요약 과정에서 우리가 얼마나 확신할 수 있는지 알려주는 '경고 라벨'을 실수로 지워버리는 현상을 말합니다.

이 논문은 이 기억 노트를 위한 보안 요원을 구축하는 것에 관한 내용입니다. 권알렉스(Alex Kwon)가 이끄는 연구진은 다음과 같은 질문을 던졌습니다: 모든 노트를 일일이 읽기 위해 비싸고 느린 거대 AI 모델(대규모 언어 모델)을 고용하지 않고도, 어떻게 이러한 실수를 잡아낼 수 있을까? 그들은 '어떤 종류의 경고 라벨이 사라지는가'에 기반한 영리한 트릭을 발견했습니다. 어떤 라벨, 예를 들어 "not(아니다)"이라는 단어는 레시피의 짧고 고정된 재료 목록과 같아서, 인덱스 카드 한 장에 모두 적어둘 수 있습니다. 반면 "someone said(누군가 말했다)"나 "maybe(아마도)"와 같은 라벨은 인간이 불확실함을 표현하는 무한한 방식들을 나열하려는 것과 같아서, 그 목록은 끝이 없습니다. 이 논문은 짧은 목록의 경우 간단한 단어 검사기만으로도 완벽하게 작동한다는 것을 보여줍니다. 반면, 끝이 없는 목록의 경우에는 특정하고 까다로운 사례들을 확인하기 위해서만 스마트한 AI를 사용하면 된다는 점을 보여줍니다.

위대한 "팩트워싱" 강도 사건

FACTWASH를 만나보세요. 이것은 AI의 기억 입구에서 파수꾼 역할을 하도록 설계된 새로운 오픈 소스 도구입니다. 이 도구의 임무는 AI가 들은 것과 메모장에 적은 것을 비교하는 것입니다. 만약 AI가 소문을 사실인 것처럼 몰래 집어넣으려 한다면, FACTWASH는 문을 쾅 닫아버립니다.

연구진은 모든 실수가 동일하게 취급되지 않는다는 것을 발견했습니다. 그들은 문제를 두 진영으로 나누었습니다: **폐쇄형 클래스(Closed Class)**와 **Open 클래스(Open Class)**입니다.

폐쇄형 클래스: "Not" 클럽
"폐쇄형 클래스"를 멤버 수가 고정된 작고 독점적인 클럽이라고 생각해보세요. 영어에서 "아니오"나 "만약 라면"을 표현하는 방식은 놀라울 정도로 제한적입니다. "not(아니다)", "never(결코 ~않다)", "don't(하지 않다)", "unless(~하지 않는 한)", "if(만약 ~라면)"라고 말할 수 있습니다. 그게 전부입니다. 연구진은 이 모든 단어를 포함하는 간단한 리스트("단어 목록")를 만들었습니다.

• 작동 방식: AI가 메모를 작성할 때, FACTWASH는 단순히 텍스트를 스캔합니다. 만약 원래 문장에 "not"이 있었는데 메모 버전에서 그것이 빠졌다면, 목록이 즉시 잡아냅니다.
• 결과: 이 간단한 목록은 믿을 수 없을 정도로 효과적이었습니다. 한 번도 본 적 없는 텍스트에서도 91%의 실수를 잡아냈습니다. 빠르고 비용이 들지 않으며 슈퍼컴퓨터도 필요하지 않습니다. 이는 마치 금지된 이름이 적힌 명단을 가진 문지기와 같습니다. 이름이 명단에 있다면 들어올 수 없습니다.

Open 클래스: "Maybe" 미로
이제 "Open 클래스"를 거대하고 변화무쌍한 미로라고 상상해 보세요. 여기에는 불확실성을 나타내는 단어들("maybe", "I think", "rumor has it")이나 누가 말했는지를 나타내는 표현들("John said", "reports claim")이 포함됩니다. 인간이 확신을 피하기 위해 사용하는 방식에는 끝이 없습니다. "전적으로 확신할 수는 없지만", "가능성이 있다", "소식통에 따르면", "내가 알기로는" 등 다양하게 표현할 수 있습니다.

• 문제점: "아마도"를 표현하는 모든 방식을 목록으로 만들려고 한다면 결코 끝낼 수 없을 것입니다. 연구진은 목록에 더 많은 단어를 추가해 보았지만, 사람들이 의구심을 표현하는 새로운 방식들을 계속 놓치게 되었습니다. 그들의 목록은 약 50%의 재현율(recall)에서 정체되었습니다. 즉, 실수의 절반을 놓쳤다는 뜻입니다.
• 해결책: 여기서 "Witness(목격자)"가 등장합니다. 단순한 목록으로는 여기를 다 잡을 수 없기에, 연구진은 작고 선택적인 AI 조력자를 추가했습니다. 이 "Witness"는 문장을 읽고 한 가지 간단한 질문을 던집니다: "여기에 헤지(hedge, 유보적 표현)나 속성(attribution, 출처 밝히기)이 있는가?"
• 결과: 이 Witness는 단순히 추측하는 것이 아니라, "예"라고 답한 이유가 되는 텍스트 속의 정확한 단어들을 지목했습니다. 이 스마트한 조력자를 까다로운 "maybe" 케이스에만 사용함으로써, 연구진은 성공률을 17포인트 높였습니다. 이는 단순한 문지기가 해결할 수 없는 복잡한 미스터리를 풀기 위해 탐정을 고용하는 것과 같습니다.

핵심 발견: 견과류를 깨는 데 슬레지해머를 쓰지 마라

이 논문의 가장 중요한 발견은 돈과 시간을 아끼는 규칙입니다. 연구진은 모든 것을 확인하기 위해 화려한 AI를 사용할 필요가 없다는 것을 증명했습니다.

• 실수가 "not"이나 "if"에 관한 것이라면: 저렴하고 빠른 단어 목록을 사용하세요. 그것으로 충분하며, 어떤 새로운 텍스트에도 잘 적용됩니다.
• 실수가 "maybe"나 "누가 말했다"에 관한 것이라면: 반드시 AI Witness를 사용해야 하지만, 오직 그 특정 케이스에 대해서만 사용하십시오.

연구진은 강력한 AI 판사(전체 이야기를 읽고 그것이 사실인지 결정하려는 모델)와 이 시스템을 맞붙여 테스트했습니다. 결과는 놀라웠습니다. 실제 데이터에서 강력한 AI 판사는 거의 완벽한 정밀도(false alarm을 거의 일으키지 않음)를 보였지만, 인간 레이블러들이 잡아낸 실제 "팩트워싱" 오류들을 많이 놓쳤습니다. 왜일까요? 강력한 AI는 '주요 사실'이 참인지에 너무 집중한 나머지, 미묘한 '경고 라벨'의 상실을 놓쳤기 때문입니다. AI는 "앨리스는 매니저다? 그래, 핵심 사실은 맞네!"라고 생각하며, 그 출처가 단지 소문이었다는 사실을 간과했습니다. 반면, 특정 체크 방식을 가진 FACTWASH는 매번 오류를 잡아냈습니다.

어디에서 실패하는가?

이 논문은 자신들이 할 수 없는 부분에 대해서도 매우 솔직합니다.

1. 거짓말을 잡지는 못합니다: 만약 AI가 전혀 언급되지 않은 사실을 지어낸다면(예: 앨리스가 승진하지 않았는데 승진했다고 말하는 경우), 현재의 FACTWASH 체크 방식은 이를 놓칠 수 있습니다. 이 도구는 새로운 것을 만들어내는 것이 아니라, 말해진 내용의 '변화'를 잡아내도록 설계되었습니다.
2. 마법은 아닙니다: "Witness" AI는 똑똑하지만 완벽하지는 않습니다. 연구진이 Witness에게 (단순히 표시만 하는 것이 아니라) 판결을 직접 내리게 했을 때, 오히려 정확도가 떨어지는 결과가 나왔습니다. 연구진은 단순한 단어 목록이 쉬운 것들을 대부분 잡아내며, AI는 어려운 것들에만 도움을 줄 때 가장 효과적이라는 것을 발견했습니다. 쉬운 문제에 AI가 추측하게 하면 실수가 발생하기 시작합니다.
3. 실제 환경 테스트: 비즈니스 이메일에 대해 테스트했을 때, "팩트워싱"(즉, "maybe"를 누락하는 것)은 실제로 꽤 드물게 나타났습니다. 비즈니스 이메일에서의 대부분의 실수는 그냥 단순한 거짓말이거나 잘못된 추측이었습니다. 그러나 구두로 전해지는 소문(gossip)의 경우, "maybe"를 누락하는 것이 주요 문제였으며, 나쁜 기록의 55%에서 발생했습니다.

왜 관심을 가져야 하는가?

이것은 단순히 로봇의 기억력을 고치는 문제가 아닙니다. 이것은 우리가 AI에 대한 신뢰를 어떻게 구축할 것인가에 관한 문제입니다. AI 에이전트가 우리를 대신해 결정을 내리기 시작함에 따라(권한 부여, 이메일 발송, 일정 계획 등), 그들은 확고한 사실과 불확실한 소문의 차이를 알아야 합니다.

이 논문은 우리에게 청사진을 제시합니다: 해결책을 과잉 설계하지 마십시오. 어떤 문제에는 슈퍼컴퓨터보다 단순한 목록이 더 낫습니다. 또 다른 문제에는 지능이 필요하지만, 그것을 현명하게 사용할 때만 필요합니다. FACTWASH는 우리가 다루는 언어의 '유형'을 이해함으로써, 소문을 규칙으로 바꾸지 않는 더 안전하고, 저렴하며, 신뢰할 수 있는 AI 시스템을 구축할 수 있음을 보여줍니다.

결국 연구진은 수정되지 않은 메모 소프트웨어에서, "유보적인 소문"이 "확정된 사실"로 변할 때 자신들의 게이트가 5번 중 5번을 잡아냈다는 것을 발견했습니다. 완벽한 방패는 아닐지라도, 이는 시작입니다. AI가 세상을 기억할 때, 사실과 함께 그 '의구심' 또한 함께 기억하도록 보장하는 방법입니다.