기술 요약: 연속적 상호작용 확산 (Continuous Interaction Diffusion, CID)

1. 문제 정의

현재의 도구 증강 추론 시스템은 주로 자기회귀(Autoregressive, AR) 언어 모델을 기반으로 구축되어 있습니다. AR 모델에서 생성은 엄격한 좌측-우측 인과적 순서를 따릅니다: 모델이 토큰을 생성하고, 다음 토큰을 예측하며, 이 과정을 반복합니다. 도구 상호작용은 이러한 패러다임에서 "정지 및 재개(stop-and-resume)" 패턴으로 자연스럽게 구현됩니다: 모델이 구조화된 도구 호출을 방출하고, 외부 결과가 나올 때까지 생성을 일시 중단한 뒤, 관찰 결과를 컨텍스트에 추가하고, 다시 생성을 재개하는 방식입니다.

그러나 확산 언어 모델(Diffusion Language Models, dLLMs)은 다르게 작동합니다. 이들은 부분적으로 오염된 시퀀스를 병렬적으로 반복하여 정제함으로써 생성하며, 이를 통해 출력의 여러 부분이 동시에 불확실하거나, 안정적이거나, 수정 가능한 상태가 될 수 있도록 합니다. 기존의 AR 도구 인터페이스를 dLLM에 적용하면 근본적인 불일치가 발생합니다:

• 조기 확정 (Premature Commitment): AR 인터페이스는 모델의 추론이 안정화되기 전에 도구 호출을 직렬화하도록 강제하며, 이는 증거가 확보되기도 전에 결정을 고착시킬 위험이 있습니다.
• 비효율적인 지연 시간 처리: 도구 결과를 기다리는 동안 전체 생성 과정이 중단되거나, 모델이 결과를 새로운 이벤트로 추가하는 대신 기존의 진화하는 전역 상태(global state)에 통합하지 못하게 만듭니다.
• 중복 계산: 만약 모델이 새로운 증거를 바탕으로 이전에 형성한 가설을 재검토해야 한다면, AR 모델은 종종 재생성이나 새로운 대화 턴을 요구합니다. dLLM은 본질적으로 이전 영역을 수정할 수 있지만, 현재의 인터페이스는 이러한 능력을 외부 도구에 노출하지 못합니다.
• 비효율적인 지속성: 정보를 컨텍스트 윈도우 내에 "활성" 상태로 유지하기 위해 동일한 정적 도구를 반복 호출하는 것은 비효율적이며, 정보에 대한 인지적 필요와 외부 실행 요청을 구분하지 못합니다.

본 논문은 "호출-대기-관찰(call–wait–observe)" 패러드임이 dLLM에게 불필요하게 제한적이라고 주장하며, 도구 상호작용이 반복적인 디노이징(denoising) 단계에 직접 통합되는 새로운 아키텍처를 제안합니다.

2. 방법론: 연속적 상호작용 확산 (CID)

CID는 도구 상호작용을 확산 모델의 반복적인 디노이징 단계에 직접 통합하도록 설계된 모델-런타임 아키텍처입니다. 이는 이산적인 도구 호출을 **지속적 지각 바인딩(persistent perceptual bindings)**으로 대체하고, 시스템 상태를 세 가지 결합된 채널로 분리합니다.

2.1 세 가지 결합된 채널

디프러전 스텝 $s$에서의 시스템 상태는 $S_s = (F_s, T_s, Y_s, B_s, J_s)$로 정의됩니다:

1. 사실 채널 (Fact Channel, $F_s$): 외부에서 제어되는 정보(예: 사용자 고정 제약 조건, 권위 있는 도구 결과, 정확한 값)를 포함하는 모델 읽기 전용 채널입니다. 모델은 이러한 사실들에 주의(attend)할 수는 있지만, 이를 덮어쓸 수는 없습니다. 이 채널은 모델의 내부 추론이 진화하더라도 정확한 값과 출처가 안정적으로 유지되도록 보장합니다.
2. 사고 채널 (Thought Channel, $T_s$): **유형화된 인지 텐서(Typed Cognitive Tensor, TCT)**로 표현되며, 모델의 가설, 계획, 미해결된 요구 사항 및 중간 결론을 보유합니다. 텍스트 스크래치패드와 달리 TCT는 다음과 같은 요소로 보강된 연속적이고 국소적으로 확산되는 구조체입니다:
   • 소프트 역할 분포 (Soft Role Distributions): 각 셀은 동시에 가설, 요구 또는 지각(percept)을 나타낼 수 있습니다.
   • 기호적 앵커 (Symbolic Anchors): 의미론적 표류(semantic drift)를 방지하기 위한 외부 객체(파일 경로, ID, 숫자 등)에 대한 희소하고 정확한 연결입니다.
   • 불확실성 및 라이프사이클: 편집 가능성을 제어하는 셀당 노이즈 수준($\tau$) 및 라이프사이클 상태(활성, 대기, 안정)입니다.
3. 디스플레이 채널 (Display Channel, $Y_s$): 사용자에게 보이는 응답으로 수렴하는 진화하는 토큰 캔버스입니다. 이는 사고 채널의 변화와 유입되는 사실에 따라 수정됩니다.

2.2 지속적 지각 바인딩 (Persistent Perceptual Bindings)

CID는 일시적인 요청-응답 쌍 대신, 인지적 필요와 외부 소스 사이에 지속적 지각 바인딩($b_j$)을 설정합니다.

• 라이프사이클: 바인딩은 TCT 내에서 "잠재적 정보 요구"가 발생할 때 생성되며, 이는 완전한 텍스트나 JSON 호출이 직렬화되기 전에도 발생할 수 있습니다.
• 작업:
  • 외부 리프레시 (External Refresh): 소스가 변경 중인 경우(예: 라이브 피드), 런타임이 새로운 데이터를 가져옵니다.
  • 인지적 리프레시 (Cognitive Refresh): 소스가 정적인 경우, 런타임은 외부 도구를 재실행하지 않고 캐시된 값을 진화하는 사고 및 디스플레이 상태로 재투영(re-project)합니다.
• 효율성: 이를 통해 모델은 외부 I/O 비용을 반복적으로 발생시키지 않고도 많은 디노이징 스텝 동안 특정 사실의 인지적 영향력을 유지할 수 있습니다.

2.3 비동기 런타임 및 지각 동화 (Asynchronous Runtime and Perceptual Assimilation)

CID 런타임은 비동기적으로 작동합니다. 외부 읽기 작업이 진행되는 동안, 모델은 누락된 정보에 의존하지 않는 사고 및 디스플레이 채널의 영역을 계속해서 디노이징합니다.

• 지각 동화 (Perceptual Assimilation): 결과가 도착하면, 이를 현재 상태($P^s_j$)로 투영합니다. 모델은 게이트 크로스 어텐션(gated cross-attention)을 사용하여 이 증거를 통합합니다.
• 국소적 재개방 (Local Reopening): 시스템은 새로운 증거와 기존 셀 사이의 충돌을 추정합니다. 새로운 사실이 가설과 모순되는 경우, 해당 특정 셀의 국소적 디퓨전 레벨($\tau$)을 높여(재개방하여) 수정을 허용하는 한편, 관련 없는 안정적인 콘텐츠는 건드리지 않습니다. 이는 시퀀스 전체의 "파괴적인" 수정을 방지합니다.

2.4 훈련 목표 (Training Objectives)

CID는 채널 의미론과 비동기 이벤트를 처리하도록 훈련된 모델을 필요로 합니다. 훈련 목표($L$)에는 다음 항목들이 포함됩니다:

• 사고 및 디스플레이의 확산.
• 의도 노출 (Intent Exposure): 정보 요구가 완전히 직렬화되기 전에 TCT에 노출하도록 모델을 훈련하는 것.
• 바인딩 및 리프레시: 바인딩을 시작, 리프레시 또는 은퇴시키는 방법을 학습하는 것.
• 동화 (Assimilation): 관련 없는 콘텐츠를 보존하면서 새로운 증거를 바탕으로 특정 셀을 수정하는 법을 학습하는 것.
• 그라운딩 (Grounding): 기호적 앵커가 정확한 외부 값과 연결된 상태를 유지하도록 보장하는 것.

3. 주요 기여

본 논문은 턴 기반의 도구 프로토콜과 연속적으로 수정 가능한 확산 생성 사이의 불일치를 공식화합니다. 구체적인 기여는 다음과 같습니다:

1. 아키텍처 정의: 외부 제어 값과 가변적 인지를 분리하는 3채널 아키텍처(Fact, Thought, Display)를 제시합니다.
2. 유형화된 인지 텐서 (TCT): 연속적인 의미론적 콘텐츠를 기호적 앵커, 역할 분포 및 셀당 편집 가능 제어와 결합한 사고의 구조화된 표현입니다.
3. 지속적 지각 바인딩: 반복적인 인지적 리프레시(캐시된 데이터의 재투영)와 반복적인 외부 실행을 구분하는 메커니즘으로, 정적 및 동적 소스를 모두 지원합니다.
4. 런타임 명세: 도구 지연 시간을 모델 계산과 중첩시키고, 바인딩 라이프사이클을 관리하며, 디퓨전 상태의 선택적 국소 재개방을 가능하게 하는 비동기 런타임입니다.
5. 평가 프로토콜: 작업 품질과 엔드-투-엔드 효율성(특히 "의도 리드 타임" - 요구가 얼마나 일찍 감지되는지, "동화 지연" - 증거가 얼마나 빨리 통합되는지)을 평가하기 위한 정의된 프레임워크를 제공합니다.

4. 결과 및 주장

본 논문은 경험적인 성능 수치를 주장하지 않습니다. 이는 이론적이고 아키텍처 중심적인 제안입니다.

• 현재 상태: 본 논문은 읽기 전용 도구(검색, 파일 읽기, 계산기)에 초점을 맞추고 있으며, 비동기적 지각의 핵심 문제를 격리하기 위해 부수 효과가 있는 도구(쓰기, 삭제)는 명시적으로 제외합니다.
• 반증 기준: 저자는 잠재적 바인딩이 명시적 호출보다 앞서 나타나지 않거나, 도착 후의 수정이 복구하는 것보다 더 많은 상태를 파괴하거나, 혹은 비동기 AR 베이스라인이 더 낮은 복잡도로 유사한 품질을 달성할 경우 CID가 지원되지 않는 것으로 간주한다는 구체적인 기준을 정의합니다.
• 평가 계획: 논문은 "정적 참조 및 복사", "동적 상태 추적", "스트리밍 증거"와 같은 작업군을 포함하는 엄격한 평가 프로토콜을 개설하여, CID가 효율성과 정확성을 개선한다는 가설을 테스트할 계획을 밝힙니다.

5. 의의

이 연구의 의의는 도구 상호작용의 인터페이스를 확산 생성의 본질적인 역학에 정렬시키려는 시도에 있습니다.

• 패러다임 전환: AR 생성의 유산인 "호출-대기-관찰" 루프에서 벗어나, 외부 증거가 디노이징 궤적의 어느 시점에서든 모델의 상태를 수정할 수 있는 "연속적 지각" 모델로 이동합니다.
• 효율성: "인지적 리프레시"를 통해 "외부 리프레시" 없이도 동작함으로써, CID는 중복된 도구 호출을 줄이고 도구 지연 시간을 유용한 모델 계산과 중첩시키는 것을 목표로 합니다.
• 정확성: 특정 인지 영역의 선택적 재개방을 허용함으로써, CID는 새로운 증거를 처리하는 동시에 출력의 안정적이고 정확한 추론을 보존하여 정확도를 높이는 것을 목표로 합니다.

본 논문은 CID를 dLLM이 에이전트로서 효과적으로 기능하기 위해 필요한 진화 모델로 위치시키며, 확산 고유의 인터페이스 없이는 병렬적 정제 및 수정 가능성이라는 독특한 장점들이 제대로 활용되지 못할 것이라고 주장합니다.