Does Accuracy Equal Evidence? Reasoning Faithfulness under KV Cache Compression

거대한 초지능형 컴퓨터가 지치지 않는 탐정처럼 행동하며, 최종 판결을 내리기 전에 자신의 모든 사고 과정을 단계별로 기록하여 복잡한 미스터리를 해결하는 세상을 상상해 보십시오. 이것이 현대의 "대규모 추론 모델(Large Reasoning Models)"이 작동하는 방식입니다. 이들은 단순히 답을 추측하는 것이 아니라, 자신이 왜 옳은지를 증명하기 위해 길고 논리적인 이야기를 구축합니다. 하지만 이 이야기들은 믿기 힘들 정도로 길어질 수 있으며, 이는 마치 탐정이 모든 단서, 목격자 진술, 지도까지 한꺼번에 머릿속에 담아두려는 것처럼 컴퓨터의 메모리를 엄청나게 차지하게 됩니다. 컴퓨터를 더 빠르고 저렴하게 실행하기 위해, 과학자들은 "KV 캐시 압축(KV cache compression)"이라는 기술을 발명했습니다. 이것은 탐정의 노트에서 "지루하거나 중복되는" 부분을 버려 공간을 절약하고, 컴퓨터가 사건을 계속 해결할 수 있도록 가장 중요한 부분만을 남겨두는 마법 같은 파일링 시스템과 같습니다.

오랫동안 우리는 이 파일링 시스템이 최종 정답을 유지한다면, 정답에 이르는 데 필요한 중요한 단서들도 함께 유지했을 것이라고 가정해 왔습니다. 만약 탐정이 "집사가 범인이다"라고 말하고 그 답이 맞다면, 당연히 그 노트도 훌륭했을 것이라는 논리는 타당해 보였습니다. 하지만 새로운 연구는 이것이 위험한 환상일 수 있다고 시사합니다. 연구진은 정답은 맞혔지만, 그 정답을 입증하는 근거는 완전히 잊어버렸거나(또는 버려버린) 탐정을 발견했습니다. 그들은 컴퓨터가 논리적 연결 고리가 끊어진 상태에서도 정답을 도출해내는 "환각(hallucination)" 현상을 보일 수 있다는 것을 발견했으며, 우리가 오직 최종 답변만을 확인했기 때문에 탐정이 실제로 사실을 지어내고 있다는 사실을 알아차리지 못했다는 것을 밝혀냈습니다. 이는 의료나 과학 분야처럼, 왜 그 답이 정답인지 아는 것이 정답 자체만큼이나 중요한 현실 세계에서 매우 중대한 문제입니다.

거대한 "정답, 그러나 틀린 이유" 미스터리

이 논문에서 일리노이 대학교 어바나-샴페인(University of Illinois Urbana-Champaign)의 연구진은 이 "마법 같은 파일링 시스템"을 시험대에 올리기로 했습니다. 그들은 메모리 압축이 정말로 정답 뒤에 숨겨진 '추론'을 보존하는지, 아니면 정답만 보존한 채 증거는 갈기갈기 찢어버리는지를 확인하고자 했습니다. 이를 위해 그들은 "시간 여행 리플레이"와 같은 영리한 실험을 설계했습니다.

먼저, 연구진은 (메모리 압축이 없는) 초지능형 컴퓨터가 까다로운 수학 퍼즐, 과학 질문, 의학적 계산과 같은 어려운 문제들을 풀도록 했습니다. 그리고 컴퓨터가 작성한 전체 "사고 궤적(thought trace)", 즉 단계별로 서술된 전체 이야기를 저장했습니다. 그다음, 그 똑같은 이야기를 가져와서 다양한 압축 방식들에게 그 결말을 "재생(replay)"하도록 요청했습니다. 이때 컴퓨터는 방금 읽은 내용을 바탕으로 이야기를 마무리하도록 강제되었습니다. 여기서 핵심은 이야기의 '텍스트'는 고정되어 있었고, 변한 것은 컴퓨터가 방금 읽은 내용을 이해하는 내부 메모리뿐이었다는 점입니다. 이를 통해 연구진은 압축이 컴퓨터의 자기 노트 이해 능력에 정확히 어떤 영향을 미치는지 분리하여 관찰할 수 있었습니다.

연구진은 정보를 삭제하는 방식, 유사한 아이디어를 병합하는 방식, 그리고 아무것도 삭제하지 않고 크기만 줄이는 방식 등 11가지의 서로 다른 압축 방법을 테스트했습니다. 그들은 세 가지 측면을 살펴보았습니다:

1. 최종 정확도(Final Accuracy): 컴퓨터가 정답을 맞혔는가?
2. 체인 일관성(Chain Consistency): 컴퓨터가 들려주는 이야기가 실제로 논리적이고 정확한가, 아니면 단계를 건너뛰고 내용을 지어내는가?
3. 충실도(Faithfulness): 만약 이야기 중간에 잘못된 답을 슬쩍 끼워 넣었을 때, 컴퓨터가 그 실수를 잡아낼 것인가, 아니면 오류를 맹목적으로 따를 것인가?

충격적인 발견: "정답-증거 간극(Answer-Evidence Gap)"

결과는 놀라웠습니다. 연구진은 정답을 맞히는 것과 올바른 증거를 갖는 것 사이에 거대한 차이가 있음을 발견했습니다. 그들은 이를 **"정답-증거 간극(Answer-Evidence Gap)"**이라고 부릅니다.

결과는 이랬습니다. 많은 압축 방식들이 수학 및 과학 과제에서 압축되지 않은 원래의 컴퓨터와 거의 비슷한 수준의 정답률을 보여주었습니다. 하지만 연구진이 그 답 뒤에 숨겨진 '추론'을 확인했을 때, 결과는 처참했습니다. 컴퓨터는 종종 "틀린 체인을 가진 정답(wrong-chain correct answers)"을 만들어내고 있었습니다. 즉, 최종 숫자나 선택지는 맞았지만, 그곳에 도달하는 과정은 구멍이 뚫려 있거나, 논리적 비약이 있거나, 조작된 사실들로 가득 차 있었다는 뜻입니다.

예를 들어, AIME라는 수학 테스트에서 일부 압축 방식들은 약 50%의 확률로 정답을 맞혔습니다. 그러나 컴퓨터가 어떻게 그 답에 도달했는지 살펴보았을 때, 많은 "정답" 사례에서 컴퓨터가 결정적인 단계를 건너뛰거나, 잘못된 공식을 사용하거나, 혹은 그냥 답을 찍은 뒤 그것을 정당화하기 위해 가짜 이야기를 써 내려갔다는 사실이 드러났습니다. 이는 마치 시험에서 정답은 맞혔지만, 설명란에 "마법을 사용함"이라고 적어놓은 학생과 같습니다.

연구는 이러한 현상이 메모리의 일부를 **축출(evict, 버림)**하는 방식에서 특히 심각하다는 것을 보여주었습니다. 이러한 방식들은 최종 결론처럼 보이는 "정답 단서(answer cues)"는 유지하는 듯 보이지만, 중간 계산 과정이나 검증 단계와 같은 "증거 지원(evidence support)"은 버려버리는 경qu한 경향이 있습니다. 이는 마치 파일링 시스템이 "사건 종결" 도장은 남겨두면서, 경찰 보고서와 지문은 모두 버려버린 것과 같습니다.

흥미롭게도, 연구진은 양자화(quantization)(정보를 삭제하지 않고 크기만 줄이는 방식)가 훨씬 더 나은 성능을 보인다는 것을 발견했습니다. 양자화는 추론 체인을 대부분 온전하게 유지했는데, 이는 문제가 단순히 메모리가 적은 것이 아니라, 정답이 옳다는 것을 증명하는 추론 궤적에 대한 '접근 권한'을 잃는 데 있다는 점을 시사합니다.

왜 중요한가: "가짜 유능함"의 위험성

이 논문은 "최종 정확도"에만 의존하는 것이 함정이라고 주장합니다. 만약 정답이 맞는지 여부만 확인한다면, 당신은 압축된 컴퓨터가 완벽하게 작동하고 있다고 착각할 수 있습니다. 하지만 실제로는 컴퓨터가 "유능한 거짓말쟁이"일 수 있습니다. 즉, 정답은 주지만 그 추론 과정이 망가져 있기 때문에 신뢰할 수 없는 상태인 것입니다.

연구진은 이야기를 "교란(perturbing)"함으로써 이를 테스트했습니다. 그들은 컴퓨터의 노트 중간에 명백히 틀린 답을 삽입한 뒤 이야기를 계속 이어가라고 요청했습니다. 압축되지 않은 컴퓨터는 보통 오류를 잡아내고 스스로 수정했습니다. 하지만 압축된 컴퓨터들은 어떠했을까요? 많은 모델이 그 거짓말을 그대로 받아들여, 오류를 식별하는 데 필요한 증거가 사라졌기 때문에 틀린 답을 채택하며 따라갔습니다.

이것은 환자를 진단하거나 복잡한 공학 문제를 해결하는 것과 같이 높은 신뢰도가 요구되는 상황에서 AI 모델을 사용하는 모든 이들에게 매우 중요한 발견입니다. 만약 의사가 "환자는 X 질환을 앓고 있다"라고 말하는(마침 그 말이 사실인) AI에 의존하고 있는데, 그 AI의 추론 과정이 잘못된 사실들로 엉망진창이라면, 의사는 AI가 실제로 옳은 것인지 아니면 그저 운이 좋았던 것인지 알 방법이 없습니다. 이 논문은 우리가 단순히 '무엇을' 말하는지가 아니라, '어떻게' 그 결론에 도달했는지를 확인하는 새로운 평가 방식이 필요하다고 제안합니다.

결론

본 연구는 압축이 메모리를 절약하고 속도를 높일 수는 있지만, 종종 **추론의 충실도(reasoning faithfulness)**를 희생시킨다는 결론을 내립니다. "정답-증거 간극"은 실재합니다. 압축된 모델은 최종 정답은 보존할 수 있어도, 그 뒤를 받치는 근거의 타당성은 저하시시킬 수 있습니다. 저자들은 향가적인 압축 방식이 단순히 단어가 얼마나 자주 등장하는지에 기초하여 "가장 중요한" 토큰을 남기는 것에 그치지 않고, 정의, 중간 단계, 검증 절차와 같은 '추론의 구조'를 유지하는 데 더 똑똑해져야 한다고 제언합니다. 그때까지 우리는 정답을 맞히더라도 그 과정을 설명하지 못하는 AI 모델을 주의해야 합니다. 대규모 추론 모델의 세계에서, 타당한 이유 없는 정답은 그저 운 좋은 추측에 불과하기 때문입니다.