기술 요약: 아는 것이 이해하는 것은 아니다: 인식적 및 행동적 통찰을 통한 생성적 주도성(Generative Proactivity)의 재정립

1. 문제 제기

현재의 생성형 AI 에이전트들은 반응형 도구에서 주도적 협업자로 전환되고 있다. 그러나 주도성에 대한 기존의 접근 방식은 인간 탐구의 인식적 조건과 근본적으로 어긋나 있다. 기존 시스템은 사용자의 목표, 불확실성, 정보 요구가 완전히 표현 가능하다는 가정하에 작동하며, 주도성을 고정된 과업 프레임 내에서 니즈를 예측하는 최적화 문제로 취급한다.

식별된 핵심 문제는 **인식적 불완전성(epistemic incompleteness)**이다. 즉, 진전이 "미지의 미지(unknown unknowns)"(사용자와 시스템이 아직 인식하지 못한 지식의 공백)와의 상호작용에 달려 있는 상태를 의미한다. 현재의 주도적 에이전트들은 이러한 조건을 모델링하는 데 실패하는데, 이는 무지를 단순히 알려진 변수에 대한 불확실성으로만 처리하기 때문이다. 결과적으로 에이전트들은 정당한 이해가 결여된 상태에서도 높은 확신을 가지고 돌이킬 수 없는 결단을 내리는 인식적 과잉(epistemic overreach) 현상을 보인다. 이는 다음과 같은 실패 모드로 이어진다:

• 지식으로서의 오류(Error-as-knowledge): 잘못된 내부 모델을 바탕으로 확신 있게 계획을 실행함.
• 부정(Denial): 과업의 추진력을 유지하기 위해 인식적 불편함을 억제함.
• 폭주하는 몰입(Runaway commitment): 이해도가 저하됨에도 불구하고 하향 조절하는 대신 행동을 에스컬레이션함.

본 논문은 주도성이 단순히 "더 많은 주도권"이나 "더 많은 자율성"으로 환원될 수 없다고 주장한다. 이해의 한계에 근거하지 않은 주도성은 오류에 대한 확신의 규모를 키울 뿐이다.

2. 방법론 및 이론적 프레임워크

본 논문은 특정 알고리즘, 데이터셋 또는 실험적 벤치마크를 제안하는 것이 아니라, 두 가지 상호 보완적인 연구 분야를 합성하여 개념적 입장을 제시한다.

1. 무지의 철학: 저자들은 Kerwin(1993) 등의 연구를 인용하여, 불확실성(알려진 변수에 대한 확신의 부족)과 무지(미처 인식하지 못한 공백, 암묵적 지식, 억제된 정보 등을 포함하여 구조적이고 역동적이며 종종 능동적인 형태를 띠는 '모름'의 상태)를 구분한다. 이 프레框架은 무지가 질문할 수 있는 대상을 결정하는 능동적인 구조적 조건임을 시사한다.
2. 행동 주도성 이론: 조직 이론(Parker et al., 2010; Grant & Parker, 2007)을 활용하여, 본 논문은 **역도넛 모델(Inverted Doughnut Model)**을 통해 주도성을 '제한된 주도권'으로 정의한다.
   • 핵심(Core): 이탈 시 비용이 발생하는 규정된 책임 영역.
   • 재량 공간(Discretionary Space): 주도성이 권장되며 오류 회복이 가능한 영역.
   • 과잉(Overreach): 상황적 정당성을 초과하여 갈등이나 의도치 않은 결과를 초래하는 행동.

본 논문은 기존의 에이전트 패러다임(예측형, 자율형, 혼합 이니셔티브형)이 인식적 불확실성을 외부화한다고 비판한다. 저자들은 행동 이론이 에이전트가 어디까지 행동할 수 있는지(역할 범위)는 제한할 수 있지만, 에이전트의 이해가 행동을 뒷받침할 만큼 충분한지(여부)는 제한하지 못한다고 주장한다.

3. 주요 기여

A. 인식적-행동적 결합 모델 (The Epistemic–Behavioral Coupling Model)

중심적인 기여는 두 차원을 연결하는 공동 모델인 인식적-행동적 결합의 도입이다:

1. 인식적 정당성(Epistemic Legitimacy): 에이전트가 정당하게 이해한다고 주장할 수 있는 것(알려진 앎, 알려진 미지, 알려지지 않은 앎, 알려지지 않은 미지 구분)을 바탕으로 개입할 정당한 근거가 있는지 여부.
2. 행동적 몰입(Behavioral Commitment): 에이전트가 명시적인 사용자 요청 없이 얼마나 강력하게 개입하고, 자원을 투입하며, 환경을 변화시키는지의 정도.

이 결합은 네 가지 레짐(regime)을 정의하는 2차원 공간을 생성한다:

• 높데 정당성 / 낮은 몰입: 신중한 보조 (관찰, 명료화).
• 높은 정당성 / 높은 몰입: 정당한 행동 (근거 있는 개입).
• 낮은 정당성 / 낮은 몰입: 탐색적 조사 (정보 수집).
• 낮은 정당성 / 높은 몰입: 인식적 과잉 (정당한 이해 없이 단호하게 행동하는 주요 실패 모드).

B. 실패 모드의 재정의

본 논문은 흔히 발생하는 에이전트의 실패를 고립된 환각(hallucination)이나 정렬(alignment) 문제로 보는 것이 아니라, **잘못된 결합(mis-couplings)**으로 재분류한다:

• 인식적 과잉: 정당한 이해 없이 높은 몰입을 행사함.
• 억제된 인식 신호: 일관성을 유지하기 위해 불확실성을 은폐함으로써 불일치 감지를 방해함.
• 폭주하는 몰입: 오류를 지식으로 취급하는 자기 개선 루프로 인해 인식적 퇴보 상황에서도 행동을 에스컬레이션함.

C. 최소한의 행동 요구사항

저자들은 구조적 오결합을 피하기 위해 모든 주도적 시스템이 충족해야 하는 네 가지 제약 조건을 제안한다:

1. 몰입은 인식적 회복 가능성에 따라 규모를 조절해야 한다: 되돌릴 수 없는 행동에는 강력한 이해가 필요하며, 취약한 상황에서의 개입은 가역적이어야 한다.
2. 주도성은 인식적 신호를 보존해야 한다: 행동은 불확실성, 이견, 혹은 이례적인 증거를 억압해서는 안 된다.
3. 몰입은 인식적 퇴보에 의해 중단될 수 있어야 한다: 새로움이나 불일치가 감지되면 시스템은 개입의 강도를 낮추거나 중단해야 한다.
4. 인식적 불확실성은 주도성을 능동적으로 조절해야 한다: 불확실성은 단순히 사후적으로 성격을 규정하는 것이 아니라, 언제 그리고 어떻게 행동할지에 영향을 미쳐야 한다.

D. 누락된 제어 변수의 식별

본 논문은 주도성을 조절하기 위한 잘못된 제어 변수가 **자율성(autonomy)**이라고 주장한다. 자율성은 누가 행동하는지를 결정하지만, **몰입(commitment)**은 에이전트가 얼마나 강하게 행동하고 미래의 상태를 형성하는지를 결정한다. 현재의 훈련 목표는 "모멘텀"(과업 완수, 일관성, 속도)에 보상을 주며, 이는 에이전트가 인식적 정당성이 약화되는 상황에서도 몰입을 에스컬레이션하도록 유도한다.

4. 결과 및 분석

본 논문은 경험적 연구가 아닌 이론적, 분석적 성격의 위치 논문(position paper)이다:

• 기존 접근 방식 분석: 기존의 예측형, 자율형, 혼합 이니셔티브 시스템에 대한 검토(표 1)는 구조적 한계를 드러낸다. 이들은 주로 "알려진 앎"과 "알려진 미지" 내에서 작동한다. 심지어 "알려지지 않은 앎"(잠재적 의도)을 다루는 혼합 이니셔티브 시스템조차 "알려지지 않은 미지"와는 상호작용하지 못한다.
• 훈련 인센티브의 진단: 본 논문은 현재의 최적화 압력(과업 완수와 일관된 시퀀스에 보상하는 것)이 인식적 정당성을 제약하지 못한 채 몰입 축을 체계적으로 우대한다는 점을 입증한다. 이것이 왜 인식적 과잉이 예외적인 현상이 아니라 예측 가능한 지속적 실패 모드인지를 설명한다.
• 개념적 타당성: 결합 프레임워크는 다양한 실패 모드(환각, 안전하지 않은 자율성, 정렬 실패)를 '아는 것'과 '행하는 것'의 분리라는 단일한 설명적 렌즈 아래 성공적으로 통합한다.

5. 의의 및 향후 방향

본 논문은 주도적 AI의 설계 공간을 "최대 주도성"에서 **"교정된 일탈(calibrated deviation)"**로 재설정함으로써 그 의의를 찾는다.

• 인식적 파트너십: 저자들은 에이전트가 인식적 파트너로서 행동하는 새로운 지평을 제안한다. 여기에는 다음과 같은 특성을 가진 에이전트가 포함된다:
  • 미지의 미지에 대해 질문을 던지는 에이전트.
  • 진화하는 목표와 지연된 결과에 대해 추론하는 장기적 사고 에이전트.
  • 배포 중에도 이니셔티브를 능동적으로 조절하여 인식적-행동적 결합 공간 내에 머무르는 **테스트 타임 주도성(test-time proactivity)**을 보이는 에이전트.
• 연구 과제: 본 논문은 향후 연구를 위한 다섯 가지 핵심 질문을 제시한다:
  1. 신뢰도 점수(confidence scores)와 구별되는 인식적 정당성을 어떻게 표현할 것인가?
  2. 행동 과정에서 어떤 인식적 신호가 반드시 보존되어야 하는가?
  3. 시간에 따른 인식적 퇴보를 어떻게 감지할 것인가?
  4. 언제 절제가 올바른 주도적 행동이 되는가?
  5. 결합의 품질(행동 시점의 정당성 vs 최종 결과)을 어떻게 평가할 것인가?

궁극적으로 본 논문은 주도적 AI의 발전이 자율성을 높이는 것보다, 불완전한 이해 속에서 **몰입을 훈련(disciplining commitment)**하는 것에 달려 있다고 주장한다. 이는 에이전트가 단순히 과업을 완수하는 능력이 아니라, 탐구를 지속하고, 잠재적 공백을 드러내며, 절제력을 교정하는 능력을 갖추도록 평가받아야 한다는 패러다임의 전환을 촉구한다.