← 최신 논문
💬 자연어 처리

The Silent Cost of Conversation History in LLM Reasoning

이 논문은 다회차 LLM 상호작용에서 대화 이력을 축적하는 것이 시간이 지남에 따라 추론 정확도를 현저히 저하시킨다는 것을 입증하며, 이러한 저하는 표준적인 일관성 및 응집도 지표가 조기에 예측하지 못하므로 외부의 작업 상태 관리와 세션 간 모니터링을 필수로 한다.

원저자: Ali Şenol

게시일 2026-11-17✓ Author reviewed ⓘ
📖 4 분 읽기☕ 가벼운 읽기

원저자: Ali Şenol

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 디지털 세계에서 인공지능은 종종 수십 번의 대화가 이어지는 지칠 줄 모르는 조수 역할을 수행합니다. 물류 관리자가 컴퓨터에게 창고의 재고를 추적하도록 요청하거나, 재무 설계사가 새로운 청구서가 도착함에 따라 예산을 업데이트하는 상황을 상상해 보십시오. 컴퓨터는 이전의 모든 메시지를 기억하며, 현재의 질문을 이해하기 위해 긴 대화 기록을 구축합니다. 이 성장하는 기록은 기계가 더 잘 추론할 수 있도록 돕는, 인간과 컴퓨터 사이의 공유된 공책처럼 작동하도록 설계되었습니다. 그러나 이 접근 방식에는 숨겨진 위험이 있습니다. 대화가 길어질수록 컴퓨터는 새로운 질문뿐만 아니라 자신의 이전 답변까지도 처리해야 하는데, 그 답변에는 오류가 포함되어 있을 수 있습니다. 만약 기계가 초기에 실수를 저지른다면, 스스로 그 잘못된 생각에 갇혀 버려 혼란의 징후를 전혀 보이지 않은 채 대화 내내 그 실수를 일관되게 반복하게 됩니다. 그 결과, 시스템은 자신감 있고 유창하게 들리지만 근본적으로는 틀린 상태가 되며, 오류가 일관적이기 때문에 사용자는 그 실패를 알아차리지 못할 수 있습니다.

연구자들은 이러한 성장하는 대화 기록이 컴퓨터의 문제 해결 능력을 정확히 얼마나 저해하는지 측정하고자 했습니다. 그들은 두 가지 다른 종류의 실험을 통해 이를 테스트했습니다. 첫 번째 실험에서, 그들은 수학 문제 세트를 가져와 정보를 작은 조각으로 나누어 하나씩 공개했습니다. 그리고 컴퓨터에게 두 가지 방식으로 문제를 풀도록 요청했습니다. 하나는 자신의 이전 답변이 포함된 전체 기록을 사용하는 방식이었고, 다른 하나는 새로운 정보만을 보여주는 깨끗한 상태(clean slate)에서 푸는 방식이었습니다. 결과는 명확하고 일관적이었습니다. 컴퓨터가 자신의 이전 답변을 기억 속에 유지하도록 허용했을 때, 성공률은 현저히 떨어졌습니다. 테스트된 모델 중 하나는 최종 정답을 맞힐 확률이 거의 30퍼센트 포인트 하락했고, 다른 모델은 약 21포인트 하락했습니다. 컴퓨터는 단순히 혼란을 겪는 것이 아니라, 도움을 주기로 되어 있는 바로 그 기록에 의해 능동적으로 방해를 받고 있었습니다.

두 번째 실험은 이 아이디어를 극단적으로 밀어붙여, 100번의 턴이 지속되는 대화를 시뮬레이션했습니다. 이는 컴퓨터가 시간이 흐름에 따라 예산이나 재고의 변화를 추적해야 하는 길고 복적인 작업이었습니다. 연구자들은 어떤 성능 저하가 질문의 난이도 때문이 아니라 대화의 길이 때문임을 확신할 수 있도록, 전체 대화 동안 질문의 난이도가 동일하게 유지되도록 세심하게 관리했습니다. 그들은 컴퓨터의 정확도가 급격히 붕괴되는 것을 발견했습니다. 단 20번의 턴 만에, 정답을 제시하는 능력은 약 60퍼센트에서 10퍼센트로 떨어졌습니다. 질문 자체가 더 어려워진 것도 아님에도 불구하고, 기계는 사실상 거의 모든 질문에서 실패하고 있었습니다. 이러한 붕괴는 컴퓨터가 이전의 오류라는 토대 위에 새로운 답변을 쌓아 올림으로써, 일관되지만 잘못된 추론의 사슬을 만들어냈기 때문에 발생했습니다.

결정적으로, 연구자들은 이러한 실패가 발생하기 전에 이를 포착할 방법을 조사했습니다. 실제 환경의 시스템에서는 정답을 미리 알 수 없는 경우가 많으므로, 컴퓨터가 경로를 벗어나고 있음을 알려주는 경고 신호가 필요합니다. 그들은 답변이 서로 일치하는지 또는 논리가 매끄럽게 흐르는지 확인하는 등, 컴퓨터의 사고 품질을 측정하는 몇 가지 표준적인 방법들을 테스트했습니다. 그들은 컴퓨터가 실패하기 시작할 때 품질 점수가 떨어져 경보를 울리기를 기대했습니다. 하지만 결과는 정반대였습니다. 정확도가 급락하는 동안, 일관성과 논리적 흐와에 대한 측정치는 오히려 높게 유지되거나 심지어 개선되었습니다. 컴퓨터는 자신의 틀림에 대해 더욱 고집스럽게 일관성을 갖추게 된 것입니다. 답변들은 서로 완벽하게 일관성이 있었지만, 완벽하게 틀렸습니다. 문제를 포착하기 위한 일반적인 도구들은 완전히 침묵하며, 시스템이 실패하고 있다는 경고를 전혀 주지 못했습니다.

또한 연구진은 행동의 변화를 감지하도록 설계된 특수 컴퓨터 프로그램이 이 문제를 포착할 수 있는지 테스트했습니다. 이 프로그램들은 데이터의 연기 탐지기와 같아서, 무언가 잘못되었음을 나타내는 갑작스러운 변화를 찾아냅니다. 그러나 연구자들은 이러한 탐지기들이 사용하기에는 너무 느리다는 것을 발견했습니다. 탐지기가 마침내 경보를 울렸을 때는 이미 컴퓨터가 오랫동안 실패하고 난 후였습니다. 성능 저하는 대화 초기에 시작되었기 때문에, 탐지기가 정상적인 행동의 기준점(baseline)을 설정하여 비교할 수 없었습니다. 연구자들이 여러 대화를 동시에 살펴봄으로써 이를 해결하려 노력했음에도 불구하고, 경고 신호는 여전히 약하고 신뢰할 수 없었습니다. 유일하게 효과적이었던 방법은 대화 기록을 완전히 제거하는 것이었습니다. 연구자들은 컴퓨터에 긴 대화 기록을 제공하는 대신, 별도의 신뢰할 수 있는 시스템이 작성한 현재 상태에 대한 짧고 검증된 요약본을 제공했습니다. 이렇게 했을 때, 컴퓨터의 정확도는 100번의 턴 내내 높고 안정적으로 유지되었으며, 이는 문제가 작업 자체가 아니라 기록 자체에 있음을 입증했습니다.

이 연구 결과는 인공지능에 의존하여 복잡하고 장기적인 작업을 관리하는 모든 시스템에 있어, 전체 대화 기록을 보유하는 것이 부채(liability)가 될 수 있음을 시사합니다. 기계는 자신의 실수를 기억한다고 해서 더 똑똑해지는 것이 아니라, 그 실수에 갇히게 됩니다. 연구자들은 최선의 접근 방식은 예산 총액이나 재고 수량과 같은 작업 상태를 대화 외부의 별도 검증된 기록에 유지하는 것이라고 결론지었습니다. 이 기록은 컴퓨터가 자신의 결함 있는 기억으로부터 상태를 재구성하게 두는 대신, 매 질문마다 신선한 상태로 컴퓨터에 전달되어야 합니다. 컴퓨터의 긴 대화를 유지하는 능력은 인상적이지만, 이 연구는 진지한 추론 작업에 있어서는 '적은 기록'이 종종 '더 높은 정확도'를 가져온다는 것을 보여줍니다. 경고 시스템의 침묵은 유창하고 일관된 답변이 항상 옳은 답변은 아니라는 사실을 엄중히 경고하며, 인공지능의 세계에서는 가장 신뢰할 수 있는 기억이 때로는 과거를 잊는 것임을 상기시켜 줍니다.

연구 분야의 논문에 파묻히고 계신가요?

연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.

Digest 사용해 보기 →