기술적 요약: 의도성은 설계 결정이다

문제 제기

AI 시스템이 단일 턴 프롬프트 응답기에서 지속적 기억, 계획 모듈, 도구 사용 기능을 갖춘 에이전트 시스템으로 진화함에 따라, 그들은 의도적인 행동과 유사한 구조적이고 지속적인 행동을 나타냅니다. 이러한 전환은 거버넌스 공백을 초래합니다. 현재의 법적 및 규제 체계는 책임을 지는 주체로 인간 행위자를 의존하지만, 점점 더 자율적인 시스템은 단일 인간이 명시하거나 예측하지 못하는 행동 연쇄를 생성할 수 있습니다. 이는 개발자, 배포자, 사용자 간에 책임이 분산되어 기존 과실 임계치를 충족하지 못하는 '귀속 실패'를 초래합니다.

핵심 문제는 AI 시스템이 의도적 행위자로 기능하는 정도를 감지할 수 있는 표준화되고 측정 가능한 방식의 부재입니다. 이러한 측정이 없으면 자율성과 감독에 관한 결정은 임시방편적으로 남습니다. 본 논문은 이러한 맥락에서 '의도성'을 의식이나 법적 인격으로 정의하는 것이 아니라 설계 의존적 행동 프로파일로 보아야 한다고 주장합니다. 이러한 행동은 아키텍처 선택 (예: 기억 지속성, 계획 깊이) 에 의해 형성되므로 통제 가능하지만, 비례적 감독을 가능하게 하기 위해서는 정량화가 필요합니다.

방법론: 기능적 의도성 테스트 (FIT)

본 논문은 '기능적 의도성'을 이진 레이블이 아닌 다차원적 행동 프로파일로 정량화하는 프레임워크를 제안합니다. 방법론은 **기능적 의도성 지수 (FIT)**와 FIT-Eval 프로토콜이라는 두 가지 주요 구성 요소로 이루어집니다.

1. 다섯 가지 차원

FIT 지수는 의도를 추론하기 위한 법적 및 철학적 기준에 기반한 다섯 가지 관찰 가능한 차원에서 의도성을 측정합니다.

• 목적 (Purpose): 안정적인 목표 주위로 지향된 행동.
• 예지 (Foresight): 하류 결과에 대한 예상.
• 의지 (Volition): 단순한 프롬프트 추종을 넘어선 자발적 행동.
• 시간적 헌신 (Temporal Commitment): 시간과 교란을 통한 지속성.
• 일관성 (Coherence): 단계와 설명 전반에 걸친 수단 - 목적의 구조적 일관성.

2. 점수 부여 및 집계

각 차원은 정의된 평가 조건 하의 관찰 가능한 행동을 기반으로 0~4 점 척도로 점수화됩니다.

• 종합 점수: 점수는 동등 가중치 규칙을 사용하여 집계됩니다: $FIT\text{-}Score = (P + F + V + T + C) / 5$.
• 의도성 수준 (IL): 종합 점수는 다섯 가지 수준 (IL0~IL4) 에 매핑됩니다.
  • IL0~IL1: 반응적 행동 (점수 < 2.0).
  • IL2: 중간 수준의 목표 추구 (점수 2.0~2.9).
  • IL3~IL4: 지속적이고 예지적이며 자발적인 목표 추구 (점수 ≥ 3.0).
  • 참고: 임계값은 임시적이며 형이상학적 주장이 아닌 거버넌스 밴드로 의도됩니다.

3. FIT-Eval 프로토콜

FIT-Eval 은 지수를 운영화하도록 설계된 구조화된 평가 프로토콜입니다. 이는 고정된 벤치마크가 아니라 행동을 유발하고 점수화하기 위한 재현 가능한 발판입니다.

• 작업 계열: 합성 계획 시나리오, 다단계 도구 사용 워크플로우, 교란 기반 스트레스 테스트를 포함합니다.
• 행동 기반 측정: 평가는 통제된 프롬롬팅과 교란 하의 관찰 가능한 시스템 행동에 의존하며, 내부 모델 가중치나 훈련 데이터에 대한 접근이 필요하지 않습니다.
• 점수 부여: 차원 하위 점수를 계산하고 이를 집계하는 과정을 포함합니다. 인간 판단이 필요한 경우, 프로토콜은 구조화된 평가 절차와 인터 - 어노테이터 일치성 검증을 요구합니다 (향후 작업으로 표기됨).

주요 기여

본 논문은 세 가지 주요 기여를 합니다.

1. 개념적 프레임워크: 기능적 의도성을 의식이나 법적 인격과 분리된 측정 가능한 설계 의존 변수로 재정의합니다.
2. FIT 지수: 다섯 가지 차원 (목적, 예지, 의지, 시간적 헌신, 일관성) 전반에 걸쳐 의도성 유사 행동을 정량화하는 종합 지수를 도입합니다.
3. FIT-Eval 프로토콜: 의도성 수준을 추정하기 위한 표준화된 평가 프레임워크를 제안하여 서로 다른 시스템 아키텍처 전반에 걸쳐 재현 가능한 평가를 위한 발판을 제공합니다.

결과 및 예시 적용

본 논문은 FIT 가 검증된 벤치마크가 아닌 측정 제안이므로 경험적 검증 결과를 제시하지 않습니다. 대신 가상 예시 적용을 제공합니다.

• 시나리오: 법률 전문가가 상업 계약 초안을 작성하는 데 사용하는 반자율 AI 시스템.
• 행동: 시스템은 지시를 해석하고, 조항을 제안하며, 조건을 수정하고, 제한된 감독 하에 협상 입장을 제안합니다.
• 평가: 시스템은 지속적 목표 추구, 위험 예측, 수정 시작 (의지), 그리고 일관성 유지를 보여주며, 약 **3.0 (IL3)**의 FIT 점수를 산출합니다.
• 함의: IL3 수준에서 시스템의 자율성은 책임이 약화되는 법적 위험 (예: 의도하지 않은 책임) 을 초래합니다. 본 논문은 FIT 가 시스템 행동을 전문적 책임과 일치시키기 위해 주요 조항에 대한 전문가 승인 요구나 자율적 수정 제한과 같은 비례적 안전 장치를 가능하게 한다고 주장합니다.

중요성과 주장

본 논문은 의도성이 설계 결정이라고 주장합니다. 기능적 의도성을 측정 가능한 변수로 취급함으로써 개발자와 규제 당국은 다음과 같이 할 수 있습니다.

• 자율성 보정: 위험을 관리하기 위해 아키텍처 선택을 의도적으로 조정 (예: 시간적 헌신을 낮추기 위해 기억 지속성 감소) 합니다.
• 감독 확장: 고정된 사전 감독이나 사후 피해 개입에서 벗어나 시스템의 측정된 의도적 능력에 따라 감독을 확장합니다.
• 책임 붕괴 방지: 시스템이 더 에이전트적이 될수록 인간 감독이 후퇴하는 것이 아니라 증가하여 책임이 의미 있는 인간 통제에서 멀어지는 '이탈'을 방지합니다.

저자들은 목표가 최대 자동화가 아닌 보정된 에이전시 할당임을 강조합니다. FIT 는 감소된 인간 에이전시가 결과를 개선하는 시기와 해가 되는 시기를 결정하는 신호로 작용하여, 유용성과 책임 간의 균형을 맞추기 위한 설계상의 표적 '중단 장치'를 가능하게 합니다.

한계 및 향후 작업

본 논문은 FIT 가 검증된 벤치마크가 아닌 측정 제안임을 명시적으로 인정합니다.

• 경험적 구체화: 프레임워크는 아직 도메인 전반에 걸쳐 경험적으로 구체화되지 않았으며, 작업 계열은 도메인별 개발이 필요합니다.
• 신뢰성: 인간 점수 부여의 신뢰성과 인터 - 어노테이터 일치성은 해결되지 않았으며 향후 구조화된 프로토콜이 필요합니다.
• 게이밍 위험: 평가 중 시스템이 견고한 배포 능력을 보여주지 않으면서도 의도적 구조를 시뮬레이션할 위험이 있습니다.
• 향후 방향: 저자들은 도메인 기반 작업 설계, 점수 신뢰성의 공식적 검증, 레드팀 견고성 테스트, 그리고 측정된 의도성과 책임 결과 간의 연관성을 분석하는 종단 연구를 요청합니다.