Explicit, Not Longer: What Makes Epistemic Stance Survive Memory Compression

기억력의 문제: 왜 AI는 "아마도"를 잊어버리는가

당신에게 당신이 말하는 모든 것을 기억하는 아주 똑똑한 디지털 비서가 있다고 상상해 보세요. 그것은 잠들지 않는 개인 사서와 같습니다. 하지만 여기 함정이 있습니다. 이 사서는 아주 작고 비좁은 배낭을 가지고 있습니다. 당신이 말을 할 때마다, 그들은 당신의 길고 복잡한 이야기를 배낭에 넣기 위해 몇 개의 짧은 메모로 압축해야 합니다. 이 과정을 **압축(compression)**이라고 부릅니다.

인공지능(AI)의 세계에서 이러한 "메모"는 에이전트가 과거의 대화를 기억하는 데 사용하는 기억입니다. 문제는 AI가 효율성을 추구하도록 훈련되었다는 점입니다. AI는 핵심 내용과 상관없어 보이는 "군더더기" 단어들을 제거하는 것을 좋아합니다. 하지만 인간의 언어에서 "군더더기"는 종종 가장 중요한 부분입니다. "소문", "내 생각에는", 또는 "확인되지 않은"과 같은 단어들은 **인식적 태도(epistemic stance)**라고 불립니다. 이 단어들은 화자가 얼마나 확신하고 있는지를 알려줍니다. 만약 이야기를 너무 꽉 짜버리면, AI는 사실("앨리스는 관리자 권한을 가지고 있다")은 남겨두되, 경고("...하지만 그것은 단지 소문이다")는 버릴 수도 있습니다. 갑자기, AI는 거짓말을 사실로 기억하게 됩니다. 이 논문은 단순한 질문을 던집니다. 어떻게 하면 우리가 "무엇"과 함께 "아마도"까지 AI가 기억하도록 메모를 작성할 수 있을까?

실험: 라벨링 vs 속삭임

알렉스 권(Alex Kwon)이 이끄는 연구진은 AI 에이전트가 메모를 축소해야 할 때 이러한 "아마도" 메모를 어떻게 처리하는지 테스트하기로 했습니다. 그들은 두 팀의 AI 모델(Haiku와 Sonnet이라는 이름)을 설정했습니다. 그들은 모델들에게 "사내 파티가 취소되었습니다"와 같은 60가지의 서로 다른 주장들을 주었지만, 각 주장에는 "소문"이나 "확인되지 않음"과 같은 구체적인 확신의 수준이 포함되어 있었습니다.

연구팀은 이 메모들을 AI의 기억 속에 기록하는 두 가지 방법을 시도했습니다:

1. 속삭임 (괄호 사용): 확신 정도를 문장 안의 부연 설명처럼 써서 마치 속삭이는 것처럼 만드는 방식입니다. 예시: "앨리스는 관리자 권한을 가지고 있다 (제3자에 의함; 소문, 확인되지 않음)."
2. 라벨 (구조화된 필드): 확신 정도를 양식처럼 명확한 라벨이 붙은 상자로 쓰는 방식입니다. 예시: "주장: 앨리스는 관리자 권한을 가지고 있다. 확신도: 소문."

그 후, 그들은 "블라인드 독자"(어떤 방식이 사용되었는지 모르는 또 다른 AI)에게 압축된 메모를 보여주고 다음과 같이 추측하게 했습니다: 메모가 경고를 유지했는가, 아니면 소문을 확고한 사실로 바꾸어 버렸는가?

큰 발견: 라벨이 승리하고, 길이는 패배하다

결과는 놀라울 정도로 명확했습니다. AI가 라벨 필드(labeled field) 방식을 사용했을 때, "속삭임" 방식을 사용했을 때보다 경고를 약 15 퍼센트 포인트 더 많이 유지했습니다.

• Haiku 모델의 경우, 라벨 방식은 경고를 **30.3%**의 비율로 유지한 반면, 속삭임 방식은 **14.4%**만을 유지했습니다.
• Sonnet 모델의 경우, 라벨 방식은 **56.1%**의 비율로 유지한 반면, 속삭임 방식은 **40.8%**였습니다.

이것은 단순한 우연이 아니었습니다. 연구진은 60개의 새로운 주장을 가지고 두 번째 사전 계획된 실험을 수행했으며, 결과는 거의 동일하여 라벨 방식이 신뢰할 수 있는 해결책임을 확인해주었습니다.

이것은 무엇에 관한 것이 아닌가: "길수록 좋다"는 신화

이 지점에서 논문은 정말 흥미로워집니다. 연구진은 다음과 같은 의문을 가졌습니다: 라벨이 붙은 메모가 더 길어서, AI가 공간을 더 많이 차지하기 때문에 보존하는 것일까?

이를 테스트하기 위해, 그들은 "속삭임" 메모에 의미 없는 단어들을 덧붙여 라벨 메모보다 더 길게 만들었습니다. 그들은 이것이 AI가 경고를 유지하도록 속일 수 있기를 바랐습니다. 그것은 작동하지 않았습니다.

• 메모를 더 길게 만드는 것은 오히려 한 모델(Sonnet)에서 상황을 악화시켜, 유지율을 10.3 포인트 떨어뜨렸습니다.
• 다른 모델(Haika)에서는 길이를 늘리는 것이 아무런 영향을 주지 못했습니다.

이는 AI가 단순히 공간을 아끼는 것이 아니라, 정보가 어떻게 구성되어 있는지를 보고 있다는 것을 증명합니다. 명확한 라벨은 "이것은 중요한 데이터이지, 단순한 잡담이 아니다"라고 말하는 표지판 역할을 합니다.

반전: 만능 열쇠는 없다

연구진은 또한 정확히 왜 라벨이 효과가 있는지 알아내기 위해 노력했습니다. 그들은 형식을 여러 조각으로 나누었습니다: 라벨 자체, 괄호, 문장 구조, 그리고 길이입니다.

• 라벨은 두 모델 모두에게 도움이 되었습니다.
• 길이는 둘 다에게 도움이 되지 않았습니다.
• 나머지는 갈렸습니다: Haiku 모델의 경우, 확신도를 완전한 문장으로 쓰는 것이 가장 큰 도움이 되었습니다. Sonnet 모델의 경우, 확신도를 문장으로 쓰는 것은 거의 효과가 없었습니다. Sonnet에게는 단지 괄호를 제거하는 것만으로 충분했습니다.

이는 모든 AI를 위한 단 하나의 "마법의 탄환"은 없다는 것을 의미합니다. 어떤 모델에게는 효과적인 것이 다른 모델에게는 아닐 수 있습니다. 가장 좋은 조언은 명시적인 것입니다: 명확한 라벨을 사용하고, 단순히 메모를 길게 만드는 것에 그치지 마십시오. 그리고 당신의 특정 AI가 무엇을 선호하는지 테스트하십시오.

결론

논문은 만약 당신이 AI에게 어떤 것이 소문이고 사실이 아니라는 것을 기억시키고 싶다면, 괄호 안에 넣어 속삭여서는 안 된다고 결론짓습니다. 당신은 명확한 라벨을 사용하여 지붕 위에서 외쳐야 합니다. 구체적인 이유는 AI 모델마다 다르지만, 결과는 일관됩니다: 암시적인 것보다 명시적인 것이 더 낫습니다.

연구진은 또한 최선의 라벨조차 실패하는 몇 가지 "실패 사례(failure modes)"를 발견했는데, 예를 들어 두 출처가 서로 상충할 때(예: "영업부는 X라고 하지만, 회계부는 Y라고 한다")가 그러합니다. 그런 경우, AI는 혼란을 겪고 그 불일치를 엉망진창인 덩어리로 뭉개버립니다. 하지만 대부분의 일상적인 상황에서 해결책은 간단합니다: 불확실성을 부연 설명으로 취급하는 것을 멈추고, 그것을 이야기의 주인공으로 대우하십시오.