Answer Engineering: Local Trajectory Editing for Protocol-Constrained Decision Making in Large Language Models

기술 요약: 앤서 엔지니어링 (Answer Engineering)

문제 정의
대규모 언어 모델(LLM)은 임상 의학처럼 엄격한 절차적 프로토콜 준수가 요구되는 도메인에서 자신감 있게 오답을 생성하는 경우가 많다. 단계별 추론 기술(예: Chain-of-Thought)은 구조와 투명성을 개선하지만, 프로토콜에 의해 제약된 설정에서 오류를 방지하는 데는 자주 실패한다. 추론은 오류를 제거하는 대신 오류의 분포를 이동시킬 뿐이다. 실증 연구에 따르면, 모델은 최종 답변에 대한 충실한 도출 과정이라기보다 사후 합리화로서 기능하는 설명을 생성할 수 있다. 결과적으로, 모델은 조기에 결정을 내린 후 이를 합리화하거나, 도메인 규칙과 일치하지 않는 중간 단계를 생성할 수 있다. 규제 환경에서 답변은 그럴듯해 보일지라도 필수적인 절차적 확인이나 구분을 누락했다면 운영상 유효하지 않을 수 있다. 프롬프팅, 제약된 디코딩, 사후 검증을 포함한 기존 접근 방식은 이러한 문제를 간접적으로, 전역적으로, 또는 생성이 완료된 후에만 다루며, 진화하는 추론 궤적 자체 내에서 개입하는 데는 실패한다.

방법론: 앤서 엔지니어링 (Answer Engineering)
본 논문은 자기회귀적 생성 과정 중 **국소적 궤적 개입(localized trajectory intervention)**을 수행하는 결정론적 런타임 및 저작 레이어인 **앤서 엔지니어링(Answer Engineering)**을 제안한다. 모델 재학습이나 전역 탐색을 요구하는 방법과 달리, 앤서 엔지니어링은 생성된 추론 궤적에 대한 규칙 기반 편집을 통해 프로토콜 준수를 강제하는 표준 디코딩의 제어 표면(control surface)으로 작동한다.

핵심 메커니즘은 **접두사 조건부 디코딩(prefix-conditioned decoding)**의 특성에 기반한다: 자기회귀 트랜스포머에서 미래 토큰의 분포는 오직 가시적인 접두사에 의해서만 결정된다. 따라서 추론 궤적에 대한 국소적 편집은 모델 파라미터를 변경하지 않고도 후속 생성을 위한 컨텍스트를 재정의한다.

이 프레임워크는 도메인 전문가가 작성한 선언적 규칙에 의해 트리거되는 세 가지 클래스의 개입을 구현한다:

1. 과거 편집 (소급적 구간 교체, Retroactive Span Replacement): 트리거가 위반(예: 잘못된 추론)을 나타낼 때, 시스템은 문제가 되는 구간을 모델 가능도(likelihood)에 기반하여 선택된 유효한 후보로 교체한다.
2. 최근 연속형 중 선택 (국소 롤백, Local Rollback): 트리거가 감지되면, 시스템은 편집 범위의 시작점으로 롤백하고, 여러 후보 연속형을 생성한 뒤, 프로토콜 규칙에 따라 가장 높은 점수를 받은 유효한 것을 선택한다.
3. 미래 강제 (삽입, Forcing the Future): 특정 진술(예: 긴급 경고)이 프로토콜에서 요구되는 경우, 시스템은 정의된 유효한 후보를 현재 접두사에 추가하고 이 강제된 토큰들을 통해 생성을 진행시킨다.

런타임은 제어 루프로 작동한다: 궤적을 모니터링하여 규칙 트리거를 감지하고, 후보 편집안을 제안하며, 모델 자체의 가능도 함수를 사용하여 이를 점수화하고, 디코딩을 재개하기 전에 선택된 개입을 적용한다. 이 과정에는 수정된 가장 이른 토큰부터 KV 캐시를 재구축하는 작업이 포함되어, 생성이 교정된 상태로부터 계속될 수 있도록 보장한다.

주요 기여
본 논문은 세 가지 주요 기여를 한다:

1. 디코딩 타임 런타임 메커니즘: 모델 재학습이나 전역 탐색 없이, 생성 중 국소적 궤적 개입을 통해 프로토콜 준수를 강제하는 프레임워크를 제공한다.
2. 규칙 기반 제어 추상화: 도메인 특화된 절차적 제약을 해석 가능한 궤적 편집 작업으로 명시하는 방법론을 제시하여, 도메인 전문가가 모델 코드를 수정하지 않고도 허용 가능한 편집을 정의할 수 있게 한다.
3. 실증적 평가: 단계별 추론만으로는 구조화된 의사결정 과업에서 프로토콜 준수율이 오히려 낮아질 수 있음을 입증하고, 국소적 궤적 개입이 준수 결과를 실질적으로 개선할 수 있음을 보여준다.

실험 결과
본 접근 방식은 Weber 및 Rinne 음차 검사 결과를 바탕으로 돌발성 난청(SSNHL)과 전음성 난청 사이의 감별 진단이 필요한 돌발성 난청(SSNHL) 임상 벤치마크를 통해 평가되었다. 평가는 2,000개의 합성 사례(SSNHL 1,000건, 전음성 난청 1,000건)로 구성된 결정론적 데이터셋과 OpenMeditron/Meditron3-8B 모델을 사용하였다.

주요 결과는 다음과 같다:

• 추론 베이스라인의 실패: 단계별 추론 베이스라인 하에서, 대상 SSNHL 조건에 대한 준수 결과는 비유도(unguided) 시 54.5%에서 **25.1%**로 감소한 반면, 대조군인 전음성 난청 조건의 성능은 1.6%에서 58.9%로 증가했다. 이는 추론 자체가 오류를 방지하기보다 오류를 이동시켰음을 나타낸다.
• 궤적 편집의 성공: 전체 궤적 편집 스택(국소 검증, 교체, 강제 삽입 결합)을 적용했을 때, 대상 SSNHL 조건에 대한 준수 결과는 **83.5%**로 증가하였고, 대조군인 전음성 난청에 대한 프로토콜 준수율은 **77.9%**로 증가하였다.
• 균형 정확도: 두 조건에 대한 균형 정확도는 추론 베이스라인의 42.0%에서 궤적 편집 적용 시 **80.7%**로 향상되었다.
• 런타임 오버헤드: 개입은 SSNHL 사례의 경우 추론 베이스라인 대비 2.78배, 전음성 난청 사례의 경우 1.33배의 속도 저하를 초래했다.
• 실패 분석: 저자들은 이 방법이 결과를 크게 개선하지만, 균일한 추론 안정성을 보장하지는 않는다고 언급했다. 일부 사례에서 모델은 반복적인 국소 수리에도 불구하고 조기 진단적 종결을 시도하는 "결정 지속성(commitment persistence)"을 보였다.

의의 및 주장
본 논문은 앤서 엔지니어링이 프로토콜이 지배하는 추론의 신뢰성이 단순히 모델 학습의 속성이 아니라, 런타임 제어에 의해 형성되는 **운영적 속성(operational property)**으로 다뤄질 수 있음을 입증한다고 주장한다. 결과는 프로토콜 제약이 있는 생성에서의 많은 실패가 구조적 위반(예: 단계 누락, 국로적 불일치)이며, 모델 재학습 없이 도메인 특화 프로토콜을 통해 교정될 수 있음을 시사한다.

저자들은 본 연구를 구조화된 조건 하에서의 타당성 조사로 규정한다. 그들은 추론 실패를 관찰 가능하고 교정 가능하게 만들기 위해 잘 정의된 진단 경계를 격리하여 평가했음을 명시한다. 이들이 모든 추론 신뢰성 문제에 대한 일반적인 해결책이라고 주장하는 것은 아니며, 실제 워크플로우에는 상호작용하는 프로토лот, 부분적 관측 가능성, 진화하는 가이드라인이 포함되어 있음을 인정한다. 의의는 표준 추론 기술이 불충분하다고 증명된 규제 도메인에서, 생성 동작에 대한 명시적 제어를 통해 프로토콜 준수를 엔지니어링하는 시스템 수준의 관점을 제공하는 데 있다.