Why Sampling Is Not Choosing: Intentionality, Agency, and Moral Responsibility in Large Language Models

기술적 요약: 샘플링은 선택이 아니다

문제 제기
트랜스포머 아키텍처에 기반한 대규모 언어 모델(LLM)을 중심으로 한 최근의 발전은, 이러한 시스템들이 에이전시(agency, 주체성)를 나타내거나 도덕적 행위자로서의 자격을 갖추었다는 주장을 불러일으켰다. LLM의 출력물은 규범적으로 평가(정확성, 적절성 또는 도덕적 표준에 대한 부합 여부 검토)될 수 있지만, 모델 자체가 도덕적 책임의 적절한 대상인지 여부는 여전히 불분명하다. 본 논문이 다루는 핵심 문제는 규범적으로 평가 가능한 출력물과 진정한 에이전시를 혼동하는 것이다. 본 논문은 트랜스포머 기반 시스템에 도덕적 책임을 부여하는 것에 이의를 제기하며, 이들의 운영 메커니즘—구체적으로 확률적 입출력 매핑과 확률적 샘플링(stochastic sampling)—은 도덕적 책임을 지기 위해 필요한 자유 의지나 약속 이행적 에이전시(commitment-bearing agency)를 구성하지 않는다고 주장한다.

방법론 및 개념적 프레임워크
본 논문은 심리 철학 및 행위 철학에 근거한 철학적 분석을 채택하며, 도덕적 책임에 필요한 조건을 정의하기 위해 다음과 같은 구체적인 개념적 프레임워크를 활용한다:

1. 지향성(Intentionality): 본 논문은 내재적 지향성(시스템 자체에 내재된 의미로서, 시스템 자신을 향해 대상에 투사되는 것)과 파생적 지향성(외부 행위자에 의해 시스템에 부여된 의미)을 구분한다. 본 논문은 계산 시스템이 오직 파생적 지향성만을 보유하고 있다고 주장하기 위해 Searle(1980), Harnad(1990), Brentano(1995)의 논의를 인용한다.
2. 도덕적 책임: 단순히 인과적 참여가 아니라 "약속 이행적 에이전시(commitment-bearing agency)"로 정의된다. 이는 행위자가 자신의 행동에 대한 저자(author)여야 하며, 자기 귀속(self-attribution)이 가능해야 하고, 이유에 근거하여 행동을 승인하거나 거부할 수 있어야 함을 요구한다.
3. 자유 의지: 비결정론이나 무작위성이 아니라, 이유에 반응하는 통제 능력(reasons-responsive control)과 행동의 소유권(ownership)으로 특징지어진다.
4. 트랜스포머의 기술적 분석: 본 논문은 다음 사항에 초점을 맞추어 트랜스포머 기반 모델의 아키텍처를 분석한다:
   • 학습(Training): 인간이 생성한 코퍼스를 이용한 교사 강요(teacher forcing) 방식의 다음 토큰 예측을 통한 최적화이며, 이는 의미론적 이해가 아닌 통계적 규칙성을 학습하는 것이다.
   • 추론(Inference): 확률 분포(greedy decoding, temperature scaling, top-k, 또는 nucleus sampling 등의 방법 사용)로부터의 샘플링을 통한 생성이다.
   • 추론 모델(Reasoning Models): 사고 사슬(chain-of-thought) 또는 트리 기반 탐색을 사용하는 시스템에 대한 검토를 통해, 이들이 진정한 숙고(deliberation)가 아닌 통계적 선택에 불과함을 주장한다.

핵심 논거 및 결과
본 논문은 트랜스포머 기반 시스템이 도덕적 책임의 조건을 충족하지 못함을 입증하기 위해 연역적 논증을 구성한다:

• 전제 1: 도덕적 책임은 약속 이행적 에이전시를 요구한다.
• 전제 2: 약속 이행적 에이전시는 내재적 지향성과 자기 귀속적 행동 능력을 요구한다.
• 전제 3: 그러한 에이전시는 책임과 관련된 형태의 자유 의지를 구성한다.
• 전제 4: 트랜스포머 기반 시스템은 내재적 지향성과 자기 귀속적 행동이 결여되어 있다.
  • 증거: 이들의 작동은 데이터로부터 학습된 확률적 매핑이다. 출력물의 "대상성(aboutness)"은 모델 내부의 것이 아니라 인간의 해석으로부터 파생된다.
  • 증거: 확률적 샘플링에 의해 도입되는 가변성은 "선택"이나 "저자성"이 아니라, 자유 의지에 필요한 소유권과 이유-반응성을 결여한 무작위성이다.
  • 증거: "추론" 모델(예: 사고 사슬)조차 숙고를 시뮬레이션하지만, 궁극적으로는 이유를 이유로서 인식하는 것이 아니라 통계적 가능성이나 휴리스틱 점수에 기반하여 토큰을 선택한다.
• 결론: 따라서 트랜스포머 기반 시스템은 도덕적 책임의 적절한 대상이 아니다.

본 논문은 지향적 태도(예측적 효용을 위해 믿음/욕구를 부여하는 것), 기능주의(정신 상태를 기능으로 정의하는 것), 양립가능론(결정론과 책임을 화해시키는 것)을 포함한 잠재적 반론들을 다루고 반박한다. 저자들은 이러한 프레임워크들이 내재적 지향성과 자기 귀속이 결여된 시스템에서 진정한 에이전시를 확립하기에는 불충분하다고 주장한다.

주요 기여

1. 새로운 약속 기반 계보 제시: 본 논문은 내재적 지향성을 저자성과 자유 의지의 개념을 통해 도덕적 책임과 연결하는 구체적인 에이전시 계보를 개발한다. 이는 책임이 출력물이 평가 가능하다는 점에 관한 것이 아니라, 그 원천(source)이 약속을 이행할 수 있는 능력에 관한 것임을 명확히 한다.
2. 체계적인 기술적-철학적 분석: 본 논문은 현대 트랜스포머 아키텍처에 이 철학적 프레임워크를 적용하여, 다음 토큰 예측과 확률적 샘플링의 메커니즘이 어떻게 필수적인 형태의 에이전시를 배제하는지를 명시적으로 보여준다.
3. "추론" 모델의 명료화: 본 논문은 고급 "추론" 모델에 대한 비판을 확장하여, 중간 단계(예: 사고 사슬)가 통계적 선택을 진정한 숙고나 저자성으로 변모시키지 못한다고 주장한다.

의의 및 주장
본 논문은 LLM에 도덕적 에이전시를 부여하는 것이 왜 잘못된 생각인지에 대한 통합적인 철학적 및 기술적 설명을 제공한다고 주장한다. 그 의의는 다음과 같다:

• 평가와 에이전시의 구분: 시스템의 출력을 규범적으로 평가하는 능력과 그 출구에 대해 책임을 질 수 있는 시스템의 능력 사이를 엄격히 구분한다.
• 고전적 비판의 재검토: 구문-의미론적 구분과 기호 접지(symbol grounding)에 관한 고전적 논의(Searle, Harnad)를 현대 LLM의 맥락에서 재연결하며, 이들의 지속적인 관련성을 보여준다.
• 실질적 함의: 본 논문은 이러한 시스템의 행동과 배포에 대한 책임이 반드시 인간 설계자, 배포자 및 제도적 틀에 남아 있어야 한다고 결론짓는다. LLM을 정렬(align)하거나 규제하려는 노력은 이 시스템들을 도덕적 행위자로 변모시키는 것이 아니라, 규범적 관행 내에서 인간의 도구를 제약하는 것으로 간주되어야 한다.

본 논문은 새로운 실험적 프로토콜이나 미래의 응용 분야를 제안하는 것이 아니라, 오히려 확률적 입출력 메커니즘에 대한 의인화를 경계하는 비판적 경계 설정 작업으로서 기능한다.