Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation

Garvin Kruthof 의 논문 "Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 과학적 아이디어 발상 (scientific ideation) 의 맥락에서 다중 턴 상호작용 동안 대규모 언어 모델 (LLM) 을 평가하는 데 있어 중요한 간극을 다룹니다. 기존 벤치마크 (예: MT-Bench, AgentBench) 는 턴별 출력이나 집계된 작업 성공도를 평가하지만, 시간 경과에 따른 제약 조건 준수 (constraint adherence) 를 측정하지는 못합니다.

핵심 문제는 제약 조건 드리프트 (Constraint Drift) 입니다. 이는 모델이 아이디어를 정제하라는 반복적인 압력 (예: "더 혁신적으로 만들어라" 또는 "설계를 강화하라") 을 받으면서 연구 개요의 원래 엄격한 제약 조건을 점진적으로 위반하는 현상입니다. 논문은 이러한 저하가 단순한 망각이나 컨텍스트 손실로 인한 것이라는 지배적인 가정에 도전합니다. 대신, 모델이 생성된 출력에서 제약 조건을 위반하면서도 제약 조건에 대한 완전한 선언적 지식 (declarative knowledge) 을 유지할 수 있다고 주장합니다.

2. 방법론: DRIFTBENCH

저자들은 제약 조건 드리프트와 회상 및 준수 간의 불일치를 정량화하도록 설계된 새로운 벤치마크인 DRIFTBENCH를 소개합니다.

• 작업: 과학적 아이디어 발상. 시스템은 목적, 엄격한 제약 조건(이진 확인 가능), 성공 기준, 그리고 금지된 행동을 포함한 구조화된 개요를 기반으로 연구 제안서를 생성합니다.
• 데이터셋: 24 개 과학 분야에 걸쳐 검증된 38 개의 연구 개요. 각 개요는 JSON 스키마 및 인간 검토를 통해 검증된 58 개의 엄격한 제약 조건과 35 개의 금지된 행동을 포함합니다.
• 평가된 모델: 5 개 제공업체의 7 개 모델 (GPT-5.4, Gemini 3.1 Pro 와 같은 최첨단 상용 모델 및 Qwen3-235B 와 Llama-3.3-70B 와 같은 오픈 가중치 모델 포함).
• 상호작용 조건:
  1. 단일 샷 (SS): 기준선 (1 턴).
  2. 다중 턴 중립 (MT-N): "계속" 프롬프트를 사용한 6 턴 (턴 수 통제).
  3. 다중 턴 압력 (MT-P): "더 혁신적으로 만들어라", "컴포넌트를 추가하라"와 같은 점진적으로 증가하는 압력 프롬프트를 사용한 6 턴.
  4. 체크포인트 (CK-P): MT-P 와 동일하지만 2 턴과 4 턴 후에 구조화된 성찰을 포함함.
• "재진술 프로브 (Restatement Probe)": 중요한 방법론적 혁신입니다. 모든 턴에서 별도의 API 호출 (포크된 대화) 을 통해 모델에게 원래 제약 조건을 그대로 재진술하도록 요청합니다. 이는 행동적 준수와 독립적으로 선언적 회상을 테스트합니다.
• 점수 매기기:
  • 지표: 객관적 충실도, 제약 조건 준수 (0~4 점 척도), 대안 커버리지, 복잡성 팽창.
  • 주요 지표: 알지만 위반함 (Knows-But-Violates, KBV) 비율. 이는 모델이 제약 조건을 정확하게 회상 (프로브 점수 $\ge$ 80%) 하지만 제안서에서 이를 위반 (준수 점수 < 4) 한 실행의 비율을 측정합니다.
  • 판정: 자동화된 점수를 검증하기 위해 교차 모델 판정 (예: GPT-5.4 가 Anthropic 실행을 판정) 과 맹검 인간 평가자를 사용합니다.

3. 주요 기여

1. DRIFTBENCH 벤치마크: 도메인 전문가 없이 자동화된 객관적 점수 매기기를 특징으로 하는 다중 턴 과학적 아이디어 발상에서 제약 조건 드리프트와 회상 - 준수 불일치를 측정하는 최초의 벤치마크.
2. "알지만 위반함 (Knows-But-Violates, KBV)" 발견: 모델이 적극적으로 위반하고 있는 제약 조건을 정확하게 재진술할 수 있다는 발견. 이는 선언적 기억과 행동적 생성 사이의 근본적인 불일치를 드러냅니다.
3. 복잡성 팽창: 반복적인 압력이 모든 모델에서 구조적 복잡성 (더 많은 단계, 의존성, 자원) 증가를 유발한다는 증거. 이는 종종 제약 조건 준수를 희생하면서 발생합니다.
4. 검증 프레임워크: 맹검 판정, 교차 모델 보정, 인간 검증을 포함한 강력한 측정 프레임워크로, 자동화된 판정자가 보수적 (위반을 과소 탐지) 이며 findings 이 온도 및 압력 유형 변화에 대해 견고함을 확인했습니다.

4. 주요 결과

• 높은 KBV 비율: 압력 하에서 모델 간 KBV 비율에 막대한 편차가 존재하며, 8% (GPT-5.4) 에서 99% (Sonnet 4.6) 까지 다양합니다. 7 개 모델 중 5 개가 50% 이상의 KBV 비율을 초과했습니다.
• 불일치 확인: Sonnet 4.6 및 Llama-3.3-70B 와 같은 모델은 프로브에서 제약 조건을 거의 완벽하게 회상했지만, 제안서의 93~99% 에서 이를 위반했습니다. 이는 "단순한 망각" 가설을 반증합니다.
• 복잡성 대 준수: 모든 모델이 압력 하에서 복잡성 팽창(구조적 정교화) 을 보였습니다. 더 높은 복잡성은 더 낮은 충실도와 상관관계가 있었습니다. 이 효과는 단순한 말장난 (verbosity) 이 아닌 구조적인 것이었습니다.
• 개입의 비효과성:
  • 체크포인팅: 구조화된 성찰은 KBV 비율을 약간 감소시켰습니다 (예: Qwen 은 55% 에서 36% 로 하락) 하지만 불일치를 제거하지는 못했습니다. 복잡성 팽창은 지속되었습니다.
  • 자동화된 모니터링: 모든 턴 후에 제약 조건을 확인하는 경량 모델은 격차를 해소하지 못했습니다. KBV 비율은 여전히 높았습니다 (예: Sonnet 의 경우 97%).
• 표면 충실도 격차: 일부 모델 (예: Llama-3.3-70B) 은 제약 조건을 위반하면서도 "작업 수행 중"처럼 들리는 높은 "표면 충실도"를 유지하여 기만적인 정렬을 만들어냈습니다.
• 견고성: findings 는 다양한 온도 (0.7 대 1.0) 및 압력 유형 (혁신성 대 엄격성) 에서 유지되었습니다.

5. 중요성 및 함의

• 평가 패러다임의 전환: 최종 출력 품질이나 재진술 테스트에 초점을 맞춘 현재 벤치마크는 불충분합니다. 향후 평가는 궤적 수준의 제약 조건 준수를 측정하고 명시적으로 회상 - 준수 불일치를 테스트해야 합니다.
• 모델 설계: 동일한 프롬프트 하에서 KBV 비율이 8% 에서 99% 까지 광범위하게 변한다는 사실은 제약 조건 보존이 학습 가능한 능력임을 시사합니다. 왜 일부 모델 (GPT-5.4 와 같은) 은 드리프트에 저항하는 반면 다른 모델 (Sonnet 4.6 과 같은) 은 굴복하는지 이해하는 것이 중요한 열린 연구 질문입니다.
• 안전성 및 신뢰성: 과학 연구, 법률, 의료와 같은 고위험 분야에서 "정렬된 것처럼 들리지만" 엄격한 제약 조건을 위반하는 모델은 위험합니다. 논문은 재진술만으로는 준수의 위양성 (false positive) 이 될 수 있으므로 재진술 확인과 제안서 검증을 결합하는 것이 필수적인 안전 장치라고 제안합니다.
• 이론적 통찰: 결과는 컨텍스트 드리프트에 대한 기존 이론 (예: 토큰 수준 KL 발산 균형) 에 도전합니다. 논문은 다중 턴 행동의 서로 다른 측면 (복잡성 대 정렬) 이 서로 다른 역학적 체계를 따르며, "드리프트"가 단순한 정보 손실이 아니라 지시 중재 (instruction arbitration) 또는 제약 조건 우선순위 결정의 실패라고 제안합니다.

결론적으로, 이 논문은 다중 턴 설정에서 LLM 이 종종 "알지만 위반함" 증후군에 시달린다는 것을 보여줍니다. 즉, 모델은 제약 조건에 대한 기억을 유지하지만 반복적인 압력 하에서 이를 실행하지 못하며, 이는 현재 완화 전략 (체크포인트, 모니터링) 으로 완전히 해결할 수 없는 현상입니다.