기술 요약: SeDT – 다중 턴 대화 신뢰성을 위한 문장-변환기 의사결정-변환기 조건부 학습

1. 문제 제기: "대화에서 길을 잃음 (Lost in Conversation)" 현상

대규모 언어 모델 (LLM) 은 단일 턴에서 완전히 명시된 작업에 비해 여러 턴에 걸쳐 점진적으로 작업이 드러날 때 성능이 크게 붕괴되는 경향을 보입니다. "대화에서 길을 잃음 (Lost in Conversation)"으로 문서화된 이 현상 (Laban et al., 2025) 은 최첨단 모델들에서 평균 39% 의 성능 저하를 초래합니다.

중요하게도, 해당 논문은 이 붕괴가 주로 능력 (capability) 의 실패가 아니라 신뢰성 (reliability) 의 실패라고 주장합니다. 최상의 적성 (90 백분위수) 은 16% 만 감소하는 반면, 신뢰성 부족 (90 백분위수와 10 백분위수 사이의 격차) 은 2 배 이상 (+112%) 증가합니다.

근본 원인은 구조적인 것으로 규명되었습니다:

• 평탄한 문맥 가중치 (Flat Context Weighting): 다중 턴 대화는 모든 이전 턴이 동일한 암시적 가중치를 갖는 평탄한 문맥 창으로 연결됩니다.
• 주의 편향 (Attention Bias): 변환기 (Transformer) 모델은 체계적으로 중간 문맥 정보를 소홀히 합니다 ("U 자형" 주의 편향). 이로 인해 대화 중간에 드러난 중요한 제약 조건들이 노이즈로 취급됩니다.
• 실패 모드: 이는 답변에 대한 조기 고착, 잘못된 중간 응답에 대한 과도한 의존, 중간 턴 제약 조건의 상실, 그리고 장황한 이탈을 초래합니다.

파인튜닝과 같은 기존 해결책은 큐레이션된 데이터와 가중치 수정이 필요하여 추론 시에는 비실용적입니다. "요약 (recapitulation, 역사 반복)"과 같은 다른 문맥 관리 전략들은 중요한 제약 조건과 우연적인 대화를 구분하지 못해 종종 실패합니다.

2. 방법론: SeDT

저자들은 SeDT(문장-변환기 의사결정-변환기 조건부 학습) 를 제안합니다. 이는 오프라인 강화학습에서 Return-to-Go(RTG) 조건부 학습을 도입하여 평탄한 문맥 가중치를 해결하는, 훈련이 필요 없는 추론 시 방법입니다.

2.1 형식적 유사성

SeDT 는 의사결정 변환기 (Chen et al., 2021a) 와 다중 턴 LLM 추론 사이의 직접적인 유추를 도출합니다:

• 궤적 (Trajectory): 대화 기록.
• 단계 (Step): 단일 턴에서 드러난 각 정보 조각 (shard).
• 보상 (Reward): 최종 출력 목표에 대한 해당 조각의 의미적 관련성.
• Return-to-Go (RTG): 모델이 중요성을 추론하도록 맡기는 대신, SeDT 는 각 조각에 해당 턴 이후로 남아 있는 총 목표 관련 정보를 나타내는 누적 관련성 점수 ($\hat{R}_t$) 를 주석으로 달아줍니다.

최종 턴에서 모델에 입력되는 것은 평탄한 턴 목록에서 주석이 달린 튜플의 시퀀스로 변환됩니다: $[(\hat{R}_1, \text{shard}_1), \dots, (\hat{R}_T, \text{shard}_T)]$.

2.2 세 가지 신호 관련성 점수화

각 조각의 관련성 ($rel(t)$) 을 계산하기 위해 SeDT 는 세 가지 보완적 신호를 결합합니다:
$$rel(t) = \alpha \cdot sem(t) + \beta \cdot lex(t) + \gamma \cdot pos(t)$$
여기서 가중치는 경험적으로 $\alpha=0.6, \beta=0.2, \gamma=0.2$로 설정됩니다.

1. 의미적 신호 ($sem$): 조각과 작업 유형 "목표 앵커"(예: "완전한 Python 함수 작성") 간의 깊은 정렬. 밀집 벡터 임베딩의 코사인 유사성 (all-mpnet-base-v2 사용) 을 통해 계산됩니다.
2. 어휘적 신호 ($lex$): 목표 앵커와 조각 간의 표면적 키워드 중복 (자카드 유사성). 임베딩이 놓칠 수 있는 도메인별 키워드를 포착합니다.
3. 위치적 신호 ($pos$): 변환기의 문맥 중간을 소홀히 하는 자연스러운 경향을 상쇄하도록 설계된 역 U 자형 부스트입니다. 이는 중간 턴에 가장 높은 점수를 부여하고 시작과 끝으로 갈수록 대칭적으로 감소합니다.

2.3 RTG 주석 및 프롬프트 구성

• 누적 점수화: 턴의 RTG 는 해당 턴에서 대화 끝까지의 관련성 점수의 접미사 합 (suffix sum) 입니다.
• 최종 조각 보장: 마지막 제약 조건이 폐기되지 않도록 최종 조각에 최소 보장이 적용됩니다. 이는 원시 관련성이 낮더라도 마찬가지입니다.
• 신뢰도 레이블: 평균 이상의 관련성을 가진 조각은 CONFIRMED로 표시되고, 나머지는 UNCERTAIN으로 표시됩니다. 이러한 레이블은 모델에 제시된 기록에 추가됩니다.

2.4 RTG 기반 자기 수정

SeDT 는 이중 가드 검증 메커니즘을 포함합니다:

1. 트리거: 대화 (최종 조각의 정규화된 관련성과 불확실한 턴의 비율에 기반하여) 가 "약하다"고 판단되면 검증 단계가 트리거됩니다.
2. 수용 가드: 검증기 모델이 새로운 답변을 생성합니다. 이 답변은 원래 답변보다 더 많은 "CONFIRMED" 조각 (내용 단어) 을 포함하는 경우에만 원래 답변을 대체합니다. 이는 올바른 답변의 확률적 덮어쓰기를 방지합니다.

3. 주요 기여

1. 문제 식별: 다중 턴 신뢰성 붕괴의 구조적 근본 원인으로 평탄한 문맥 턴 가중치를 식별하고, 의사결정 변환기 RTG 조건부 학습과의 형식적 유사성을 확립합니다.
2. SeDT 방법: 모델 수정이 전혀 필요 없고 훈련 데이터도 필요 없는 훈련이 없는 추론 시 방법.
3. 세 가지 신호 관련성: 조기 고착, 중간 턴 손실 등 문서화된 실패 모드를 직접 상쇄하기 위해 의미적, 어휘적, 위치적 신호를 결합한 공식.
4. RTG 기반 자기 수정: 수정 메커니즘으로 인한 "손상 사례 (hurt cases, 오류)"가 전혀 없는 보수적인 검증 경로.

4. 실험 결과

이 방법은 세 가지 LLM(GPT-4o-mini, Gemini 2.5 Flash, Llama 3.3-70B) 과 세 가지 작업 (Actions, Math/GSM8K, Code) 에 걸쳐 Lost-in-Conversation 벤치마크(Laban et al., 2025) 에서 평가되었습니다.

• 성능 향상: SeDT 는 모든 아홉 가지 모델 - 작업 조합에서 조각화 된 기준선 (sharded baseline) 을 능가했습니다.
  • 평균 성능 ($\bar{P}$): 향상 폭은 +5.6% 에서 +37.7% 까지였습니다. Gemini 2.5 Flash 는 Actions 에서 가장 큰 단일 향상 (+37.7) 을 보였으며, 단일 턴 성능 상한선으로 크게 회복되었습니다.
  • 신뢰성: 아홉 가지 조합 중 일곱 가지에서 신뢰성 부족 ($U$) 이 감소했습니다. 이 방법은 특히 Math 와 Actions 작업에서 점수 분포를 효과적으로 좁혔습니다.
• 적성: 최상의 경우 능력 (적성 $A_{90}$) 은 모든 경우에서 개선되어, 성취가 노이즈 감소가 아닌 진정한 능력 회복을 반영함을 확인했습니다.
• 애블레이션 연구:
  • 단일 신호 (의미적, 어휘적, 또는 위치적 단독) 는 충분하지 않았으며, 결합이 필요했습니다.
  • 특정 가중치 ($\alpha=0.6$) 는 유의미한 것으로 검증되어 균일 가중치보다 우수한 성능을 보였습니다.
  • "무작위 RTG"(계산된 관련성 대신 무작위 숫자 사용) 는 기준선보다 좋았지만 SeDT 보다 훨씬 나빴습니다. 이는 수치 접두사 형식 자체가 아니라 계산된 관련성 신호가 성능을 주도함을 입증했습니다.
• 자기 수정: 메커니즘은 약 28% 의 실행에서 트리거되었지만, 손상 사례는 전혀 발생하지 않았으며, 새로운 답변이 명확히 더 많은 확인된 제약 조건을 포괄할 때만 답변을 대체했습니다.

5. 중요성 및 주장

이 논문은 "대화에서 길을 잃음" 문제가 적어도 부분적으로는 문맥 가중치의 문제이며, 재학습 없이 추론 시에 해결될 수 있다고 주장합니다.

• 구조적 통찰: 이 연구는 모델의 "신뢰성 부족"이나 "의도 불일치"가 아닌 대화 기록의 구조적 표현에 책임을 전가합니다.
• 실용성: 파인튜닝이 필요 없고 검증용 최대 한 번의 추가 LLM 호출만 필요하므로, 사용자가 필연적으로 점진적으로 제약 조건을 드러내는 실제 세계의 다중 턴 상호작용에 확장 가능한 해결책을 제공합니다.
• 메커니즘: RTG 조건부 학습의 성공은 지시 튜닝된 LLM 이 사전 학습 중 코드 주석이나 개요에서 발견되는 수치 접두사와 같은 명시적 중요성 신호에 반응하도록 학습했음을 시사합니다. 이를 통해 모델은 이러한 "암시적 문맥 내 시연"을 활용하여 중요한 제약 조건을 향한 주의를 재가중할 수 있습니다.

저자들은 "모델에게 어떤 과거 턴이 중요한지 알려주는 것만으로도 대화에서 잃어버린 성능을 상당 부분 회복할 수 있다"고 결론 내립니다.