Do LLMs Benefit From Their Own Words?

이 논문은 대화 기록에서 AI 의 이전 응답을 제거하거나 선택적으로 필터링하는 것이 오히려 응답 품질을 향상시키고 메모리 소비를 줄일 수 있음을 실증적으로 보여줍니다.

핵심

이 논문은 **"AI 가 자신의 이전 답변을 계속 기억하고 있어야 할까?"**라는 흥미로운 질문에서 출발합니다.

기존의 AI 대화 시스템은 사용자가 질문할 때마다 AI 가 **이전 대화 전체 (사용자 질문 + AI 의 이전 답변)**를 기억하고 그 맥락에 맞춰 대답하도록 설계되어 있습니다. 마치 대화할 때 상대방이 "어제 내가 한 말 기억나?"라고 계속 상기시키는 것과 비슷하죠.

하지만 이 연구는 **"그걸 다 기억할 필요가 있을까?"**라고 의문을 제기하며, 놀라운 발견을 했습니다.

---

🍕 비유: "피자 배달과 이전 주문 내역"

이 논문의 핵심을 이해하기 위해 피자 가게를 상상해 보세요.

• 기존 방식 (Full Context): 손님이 "피자 하나 더 주세요"라고 하면, 가게 직원은 "어, 지난번에 주문하신 '페퍼로니 2 개, 치즈 3 개, 양파 1 개'를 기억하고 있네요. 그걸로 다시 만들까요?"라고 말합니다.
• 이 연구의 제안 (Assistant-Omitted): 손님이 "피자 하나 더 주세요"라고 하면, 직원은 "네, 어떤 피자를 원하시나요?"라고만 묻고 이전 주문 내역은 아예 보지 않습니다.

연구 결과, 대부분의 경우 이전 주문 내역 (AI 의 이전 답변) 을 보지 않아도 손님이 원하는 피자를 완벽하게 만들어 낼 수 있었습니다. 오히려 이전 내역을 너무 오래 기억하고 있으면, 실수가 더 자주 발생했습니다.

---

🔍 주요 발견 3 가지

1. 대부분의 대화는 "독립된 주문"입니다 (36.4%)

실제 대화 데이터를 분석해 보니, 사용자가 AI 의 이전 답변을 참고하지 않고도 새로운 질문을 던지는 경우가 무려 36.4% 나 되었습니다.

• 비유: "어제 비가 와서 우산 샀어요" (과거 답변 필요) vs "오늘 점심 뭐 먹지?" (새로운 질문, 과거 답변 불필요).
• AI 는 이전 답변을 기억하지 않아도, 현재의 질문과 이전의 사용자 질문만으로도 충분히 정답을 찾아낼 수 있었습니다.

2. "오염된 맥락" (Context Pollution) 의 위험

가장 중요한 발견은, 과거의 답변을 기억하는 것이 오히려 해가 될 수 있다는 점입니다.

• 상황: AI 가 1 단계에서 실수하거나, 엉뚱한 정보를 말했을 때, 그걸 기억하고 있으면 2 단계에서도 그 실수를 그대로 반복하거나, 엉뚱한 정보를 바탕으로 더 큰 착각을 합니다.
• 비유: 요리사가 "소금 1 스푼 넣으세요"라고 실수해서 소금물을 만들어냈는데, 다음 단계에서도 "아까 만든 소금물에..."라고 계속 그 소금물을 섞으려다 망쳐버리는 꼴입니다.
• 연구팀은 이를 **'맥락 오염 (Context Pollution)'**이라고 불렀습니다. AI 가 자신의 이전 실수나 헛소리에 너무 의존하면, 오류가 대화 전체로 퍼져나갑니다.

3. 메모리 절약 효과

이전 답변을 지우면, AI 가 기억해야 할 정보량이 최대 10 배까지 줄어듭니다.

• 비유: 책상 위에 쌓인 불필요한 서류를 치우니, 중요한 문서만 남아서 일하는 속도가 빨라지고 실수도 줄어든 것입니다.

---

💡 해결책: "스마트 필터"를 도입하자

연구팀은 모든 대화를 무작정 지우거나, 무작정 기억하는 것이 아니라 상황에 따라 선택적으로 기억하는 전략을 제안했습니다.

• 어떻게 하나요? AI 가 다음 답변을 준비할 때, "이 질문은 이전 답변을 꼭 봐야 할까?"를 스스로 판단합니다.
  • 새로운 주제라면? → 이전 답변은 삭제 (메모리 절약).
  • 이전 답변에 대한 수정 요청이라면? → 이전 답변을 기억 (맥락 유지).
• 효과: 이 '스마트 필터'를 적용하면, 대화의 질은 그대로 유지하되 메모리 사용량은 크게 줄일 수 있었습니다.

---

🎯 결론: "기억하지 않는 것이 더 똑똑할 수 있다"

이 논문의 핵심 메시지는 다음과 같습니다.

"AI 가 자신의 이전 말을 계속 기억한다고 해서 무조건 좋은 게 아닙니다. 오히려 불필요한 기억은 실수를 부르고, 속도를 늦춥니다. 때로는 '망각'이 더 똑똑한 선택입니다."

앞으로의 AI 는 대화할 때 무조건 모든 것을 기억하는 것이 아니라, 필요한 것만 선별해서 기억하는 방향으로 발전해야 한다는 것을 이 연구는 증명했습니다. 마치 우리가 대화할 때, "아, 그건 중요하니까 기억해"와 "그건 그냥 지나가던 말이었네"를 구분하는 것처럼 말이죠.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 이 복잡한 다중 턴 (multi-turn) 대화에 배포됨에 따라, 대화 기록에 모델의 과거 응답 (assistant responses) 을 모두 포함하여 컨텍스트로 제공하는 것이 항상 최선인가에 대한 의문이 제기되었습니다.

• 기존 관행: 대부분의 시스템은 대화의 맥락을 유지하기 위해 이전 모든 사용자 및 어시스턴트 응답을 컨텍스트 윈도우에 포함시킵니다.
• 문제점: 긴 컨텍스트는 계산 비용 증가, 추론 속도 저하, 그리고 모델이 관련 없는 정보에 집중하는 능력 (attention) 을 저하시킬 수 있습니다. 특히, 모델이 생성한 과거 응답에는 오류, 환각 (hallucination), 또는 불필요한 추론 과정이 포함되어 있어, 이것이 후속 응답에 부정적인 영향을 미칠 수 있습니다.
• 핵심 질문: "실제 환경 (in-the-wild) 의 다중 턴 대화에서, 모델의 과거 응답을 컨텍스트에서 제거 (omit) 하는 것이 응답 품질에 해를 끼치지 않거나 오히려 개선할 수 있는가?"

2. 방법론 (Methodology)

저자들은 WildChat 과 ShareLM 에서 수집된 실제 다중 턴 대화 데이터를 기반으로 통제된 실험을 수행했습니다.

• 실험 설정:
  • 모델: Qwen3-4B, DeepSeek-R1-Distill-Llama-8B, GPT-OSS-20B, GPT-5.2 등 4 개의 다양한 크기의 모델 사용.
  • 컨텍스트 구성 비교:
    1. Full Context (FC): 이전 모든 사용자 및 어시스턴트 응답을 포함 (기존 방식).
    2. Assistant-Omitted (AO): 이전 모든 어시스턴트 응답을 [Response provided]라는 플레이스홀더로 대체하고, 사용자 턴 (user turns) 만 포함.
  • 데이터: 기술적 대화 (코딩, 수학 등) 에 초점을 맞춘 300 개의 실제 대화 세트를 샘플링.
• 평가 방법:
  • LLM-Judge (GPT-5): 각 턴에서 FC 와 AO 응답을 비교하여 '응답 품질 (Quality)'과 '주제 일관성 (On-Topic)' 측면에서 승자를 선정하거나 무승부를 선언.
  • 편향 제거: 평가자의 위치 편향을 줄이기 위해 응답 순서를 무작위화.
  • 심층 분석: AO 가 FC 보다 성능이 우수한 경우를 분석하여 '컨텍스트 오염 (Context Pollution)' 현상을 식별.
  • 적응형 전략 개발: 어떤 턴에서 어시스턴트 히스토리를 생략할지 예측하는 분류기 (L1-regularized logistic regression) 를 학습하여 적응형 컨텍스트 필터링을 구현.

3. 주요 기여 및 발견 (Key Contributions & Findings)

A. 과거 응답 제거가 응답 품질에 미치는 영향

• 놀라운 결과: 과거 어시스턴트 응답을 완전히 제거하더라도 (AO), 많은 경우 응답 품질이 유지되거나 오히려 향상되었습니다.
• 컨텍스트 길이 감소: AO 방식은 누적 컨텍스트 길이를 최대 10 배까지 줄일 수 있었습니다 (8 턴 기준 약 25k-55k 문자에서 5k-10k 문자로 감소).
• 모델별 차이: 오픈 소스 추론 모델 (DeepSeek, GPT-OSS) 의 경우 FC 와 AO 간 품질 차이가 미미했으나, GPT-5.2 와 Qwen3-4B 의 경우 FC 가 약간 우세했으나 AO 도 경쟁력 있는 성능을 보였습니다.

B. 대화 구조 분석 (Prompt Categorization)

실제 대화에서 모델의 과거 응답이 필요한지 여부는 사용자 프롬프트의 유형에 따라 결정되었습니다.

• New Ask (36.4%): 대화 중 새로운 독립적인 요청. 이 경우 과거 어시스턴트 응답이 거의 필요 없으며, AO 방식이 FC 와同等한 성능을 보임.
• Follow-up with Feedback (30.5%): 구체적인 피드백을 주는 후속 요청. 많은 경우 구체적인 지시사항이 포함되어 있어 과거 응답 없이도 해결 가능.
• Follow-up without Feedback (33.1%): 구체적인 피드백 없이 이전 응답을 언급하는 경우. 이 경우 과거 응답이 필요할 수 있음.
• 결론: 실제 대화의 상당 부분 (약 36% 이상) 은 과거 어시스턴트 응답 없이도 처리 가능한 '자기 완결형 (self-contained)' 요청입니다.

C. 컨텍스트 오염 (Context Pollution) 현상

과거 응답을 포함하는 것이 오히려 해가 되는 경우를 발견했습니다.

• 정의: 모델이 자신의 이전 응답에 과도하게 의존 (over-conditioning) 하여 오류, 환각, 또는 스타일적 결함이 후속 턴으로 전파되는 현상.
• 예시:
  • 코드 파라미터 누수: UMAP 코드에서 사용된 metric="jaccard" 파라미터가 t-SNE 요청 시에도 잘못 전달되어 버그 발생.
  • 환각 전파: 이전 턴에서 잘못된 책 제목이나 저자를 언급하면, 이후 턴에서도 그 오류를 그대로 복사하여 사용.
  • 스타일적 관성: 새로운 지시사항 (예: "반성해 봐") 이 들어와도 이전 턴의 튜토리얼 스타일을 반복하여 사용자의 의도를 무시.

D. 적응형 컨텍스트 필터링 (Adaptive Filtering)

• 전략: 현재 사용자 프롬프트와 대화 이력을 기반으로, LLM-Judge 가 FC 를 선호할 확률을 예측하는 분류기를 학습.
• 결과: 학습된 분류기를 사용하여 특정 턴에서 어시스턴트 히스토리를 선택적으로 생략하는 전략은, 전체 FC 사용 시의 성능 95% 이상을 유지하면서 컨텍스트 사용량을 30% 이상 절감할 수 있음을 입증.

4. 결과 (Results)

• 성능: AO 방식은 대부분의 모델에서 FC 와 유사하거나 더 나은 품질을 보였으며, 특히 'New Ask'나 구체적인 피드백이 포함된 'Follow-up'에서 효과적이었습니다.
• 효율성: 컨텍스트 길이가 5~10 배 감소하여 메모리 소비와 추론 비용을 크게 절감할 수 있음.
• 오염 방지: 과거 응답을 제거함으로써 모델이 자신의 이전 오류에 갇히는 '컨텍스트 오염'을 방지하고 더 정확한 응답을 생성할 수 있음.

5. 의의 및 시사점 (Significance)

• 설계 패러다임 전환: 다중 턴 대화 시스템에서 "과거 모든 응답을 저장하는 것"이 자동화된 기본 설정 (default) 이 되어야 한다는 가정을 재검토하게 함.
• 비용 절감: 불필요한 어시스턴트 히스토리 제거는 추론 비용 (token 사용량) 을 획기적으로 줄여주며, 이는 실제 서비스 배포 시 중요한 경제적 이득이 됨.
• 품질 향상: 모델이 자신의 과거 오류나 노이즈에 영향을 받지 않도록 하여, 특히 코딩이나 논리적 추론이 필요한 작업에서 응답의 정확도를 높일 수 있음.
• 미래 연구 방향:
  • 사용자 행동 (프롬프트 유형) 만을 기반으로 컨텍스트 필터링을 결정하는 지능형 에이전트 시스템 개발 필요.
  • 실제 다중 턴 의존성을 반영한 새로운 벤치마크 데이터셋 구축의 필요성 제기.

결론적으로, 이 논문은 LLM 이 자신의 과거 응답을 항상 필요로 하는 것이 아니며, 상황에 따라 이를 선택적으로 생략하는 것이 비용 효율성과 응답 품질을 동시에 개선할 수 있음을 실증적으로 증명했습니다.