기술적 요약: 책임 있는 에이전트형 AI 는 명시적 기원 (Provenance) 을 요구함

1. 문제 제기

자율적 계획, 도구 사용, 그리고 실제 환경에서의 다단계 실행이 가능한 에이전트형 AI 의 급속한 확산은 책임 구조의 개발 속도를 앞질렀습니다. 개별 구성 요소 (예: 기술, 도구, 모델) 는 안전성 감사를 통과할 수 있지만, 에이전트 내에서 이러한 요소들이 결합되면 종종 돌발적 피해, 규제 위반, 그리고 책임의 희석을 초래합니다.

현재의 "신뢰할 수 있는 AI" 접근 방식은 구성 요소 수준의 벤치마킹과 사후 감시에 의존합니다. 이러한 방법들은 다음과 같은 이유로 실패합니다:

• 결합적 위험: 고립 상태에서 검증된 안전 속성은 상호작용을 거치면 유지되지 않습니다.
• 희석된 책임: 피해는 단일 행위자가 종단 간으로 설계하거나 통제하지 않는 장기적 궤적과 분산된 인과 사슬에서 발생합니다.
• 계산 가능성의 부재: 특정 피해와 특정 당사자 및 인과적 기여를 연결하는 명시적이고 추적 가능한 기록 (기원) 이 없기 때문에 책임은 주관적이고 강제되지 않는 개념으로 남습니다.

본 논문은 전체 에이전트 수명 주기에 걸쳐 명시적 기원이 없으면 책임을 계산 가능하고, 실행 가능하며, 강제 가능한 것으로 만들 수 없다고 주장합니다.

2. 방법론 및 형식화

저자들은 책임을 계산 가능하게 만들기 위해 명시적 기원에 기반한 프레임워크를 제안합니다. 이는 책임을 할당하는 데 필요한 증거와 구조적 계층을 형식화하는 것을 포함합니다.

2.1 핵심 정의

• 에이전트 궤적 ($\tau$): 환경 상태와 에이전트 간 행동의 유한한 시퀀스.
• 인과적 기여 ($\kappa$): 피해 사건 $\omega$에 대한 당사자의 인과적 영향력을 측정하는 지표. 이는 해당 당사자의 결정이 포함된 경우의 피해 발생 확률과, 해당 결정이 중립화되는 반사실적 궤적에서의 확률 차이로 정의됩니다:
  $$\kappa(p, \omega, \tau) = \Pr[\omega | \tau] - \Pr[\omega | \tau_{-p}]$$
• 인식적 위치 ($\varepsilon$): 시간 $t$에 해당 당사자의 역할과 이용 가능한 정보를 고려할 때, 당사자가 무엇을 알았거나 합리적으로 예측해야 했는지를 측정하는 지표.
• 계산 가능한 책임 ($\rho$): 피해 $\omega$에 대해 각 당사자 $p$에게 책임 가중치를 부여하는 함수로, 다음을 만족해야 합니다:
  1. 비례성: $\rho \propto \kappa \cdot \mathbb{1}[\text{예측 가능}]$.
  2. 완전성: 개별 책임의 합과 잔여 제도적 책임의 합은 1 이 되어야 합니다.
  3. 회피 불가: 당사자는 시스템의 복잡성을 통해 예측 가능한 기여에 대한 책임을 회피할 수 없습니다.
• 책임 텐서 ($R$): 당사자, 피해 사건, 그리고 사회기술적 차원 (예: 표준, 규제, 전문성) 에 걸친 책임을 인코딩하는 다차원 구조 $R \in [0, 1]^{|P| \times |\Omega| \times |D|}$.

2.2 4 계층 수명 주기 의제

이러한 정의를 운영화하기 위해, 논문은 4 계층 연구 의제를 제시합니다:

1. L1 (설계): 배포 전에 당사자, 모델, 기술을 나타내는 인과 의존성 그래프 ($G$) 를 수립합니다. 이는 시스템이 필요한 기원을 생성하도록 설계되도록 보장합니다.
2. L2 (공학): 실시간으로 궤적 위험 ($\Pr[\omega | e_t, \alpha_{t:T}]$) 을 추정하기 위해 온라인 궤적 모니터링을 구현합니다. 이 계층은 추적성 (사후) 과 개입 가능성 (사전) 을 모두 지원하기 위해 구조화되고 실패에 정렬된 실행 기록을 생성해야 합니다.
3. L3 (배포): 기술적 기원을 규범적 판단으로 전환합니다. 여기에는 "책임 범위" 정의, 차중 가중치 ($w_k$), 그리고 인과 신호를 특정 당사자에게 매핑하기 위한 사고 대응 계획 수립이 포함됩니다.
4. L4 (경험): 단일 단계 임계값을 넘지 않으면서도 장기적으로 발생하는 누적적 피해 (예: 자율성 침식, 편향 증폭) 를 다룹니다. 이는 사용자 선택 집합과 신념의 분리에 대한 인구 규모 모니터링을 요구합니다.

3. 주요 결과 및 실험

논문은 L2 (공학) 계층에 대한 예비 실험적 검증을 제시하며, 특히 온라인에서의 인과 신호 추정 가능성에 초점을 맞춥니다.

• 실험 설정: 저자들은 에이전트 시스템에 연결된 플러그인 뉴로-심볼릭 (NeSy) 모니터링 아키텍처를 활용했습니다. 이 아키텍처는 에이전트의 내부 구조를 수정하지 않고, 원시 에이전트 추적을 표준화된 단계 수준 표현으로 변환한 후 다양한 모니터 (신경 시퀀스 모델, 유한 상태 기계, 트랜스포머, GRU) 를 사용하여 점수를 매깁니다.
• 데이터셋: 실험은 WebArena, TAU2Bench, SkillsBench, TerminalBench라는 네 가지 벤치마크에서 수행되었습니다.
• 지표: 모니터가 피해가 실현되기 전에 실패하는 궤적을 얼마나 잘 식별하는지 측정하기 위해 **정밀도 - 재현율 곡선 아래 면적 (AUPRC)**이 사용되었습니다.
• 결과:
  • 학습된 모니터는 무작위 기준선과 제로샷 LLM 기준선을 크게 능가했습니다.
  • 유한 상태 변형은 경고 행동을 인간 감사자가 읽을 수 있는 심볼릭 상태로 압축하여 추적성에 필요한 검사 가능한 증거를 제공했습니다.
  • 모니터는 되돌릴 수 없는 결과가 누적되기 전에 개입을 지원할 수 있을 정도로 일찍 고위험 접두사를 식별하여 개입 가능성 요구 사항을 검증했습니다.
• 사례 연구: 저자들은 이러한 심볼릭 상태 (예: "정렬되지 않은 검색 쿼리", "외부 검색 리디렉션") 가 책임 텐서를 채우기 위해 특정 배포 체인 당사자 (예: 기술 개발자, 플랫폼 운영자) 에게 어떻게 매핑될 수 있는지 시연하여, 주관적인 비난을 계산 가능한 할당으로 전환했습니다.

4. 중요성 및 주장

본 논문은 명시적 기원을 임의적인 개선이 아닌 책임 있는 에이전트형 AI 를 위한 필수 조건으로 위치시킵니다.

• 구조적 필요성: 저자들은 AI 채택에 대한 현재의 "신용 부족"이 기술적 문제가 아니라 구조적 문제라고 주장합니다. 피해가 결합적 행동에서 발생할 때 비난을 할당하기 위해 정량화 가능하고 추적 가능하며 개입 가능한 기록을 생성하는 당사자가 없기 때문에 책임 공백이 존재합니다.
• 패러다임의 전환: 이 연구는 고립된 능력 평가인 "벤치마크 주도 평가"에서 전체 수명 주기에 걸친 책임 평가인 "기원 기반 책임"으로 분야를 이동시킵니다.
• 실행 가능성: 인과적 기여와 예측 가능성을 기반으로 한 계산 가능한 함수로 책임을 형식화함으로써, 논문은 규제 기관, 개발자, 기관을 위해 책임 개념을 실행 가능하게 만들었다고 주장합니다.
• 제도적 신뢰: 저자들은 에이전트형 AI 채택의 병목 현상은 능력 부족이 아니라 신뢰 부족이라고 주장합니다. 명시적 기원 인프라는 대규모 권한 위임을 위해 필요한 제도적 신뢰를 구축하는 메커니즘으로 제시됩니다.

본 논문은 급속한 기술 발전과 책임 구조 간의 격차를 해소하는 것이 공유된 의무이며, 에이전트형 AI 가 요구하는 책임 인프라를 설계하기 위해 컴퓨터 과학, 법학, 윤리학, 사회과학 간의 지속적인 협력이 필요하다고 결론 내립니다.