Definitional alignment before capability alignment: a Design-Science framework for adjudicating claims about AGI

기술 요약: 역량 정렬에 앞선 정의적 정렬 (DAF-AGI)

문제 제기
인공일반지능(AGI) 분야는 심각한 저사양화(under-specification) 문제를 겪고 있다: 즉, 해당 용어가 단일하고 공유되며 안정적인 지시 대상(referent)을 결여하고 있다는 점이다. AGI에 대한 상충하는 조작적 정의들은 동일한 시스템에 대해 서로 다른 판결을 내리는데, 이는 역량의 증거가 부족해서가 아니라, 무엇이 "지능"을 구성하는지에 대한 상호 양립 불가능한 약속들을 정의 속에 인코딩하고 있기 때문이다. 본 논문은 이러한 불확별성이 단순한 과학적 미성숙함이 아니라 거버넌스의 문제라고 주장한다. 공유된 판정 규칙의 부재는 행위자들이 특정 과학적, 상업적, 규제적 이해관계에 부합하는 임계치를 설정하도록 허용한다. 결과적으로, AGI가 "도래했다"는 주장은 엄격한 검증 하에서 방어 불가능한 경우가 많은데, 이는 그러한 주장을 하기 위해 사용된 정의들이 논쟁적이고, 가치 편향적이며, 독립적인 인증을 결여하고 있기 때문이다. 핵심 문제는 커뮤니티가 AGI가 무엇인지에 대해 먼저 합의하지 못한 채 AGI의 도래를 어떻게 거버넌스할 것인가를 논하고 있으며, 이로 인해 "도래" 판정, 규제 트리거, 계약적 권리가 그 자체로 비공식적이고 이해관계가 얽힌 범주를 기준으로 판정되는 상황에 놓여 있다는 것이다.

방법론
본 논문은 제2차 개념적 인공물(second-order conceptual artifact)인 **AGI를 위한 정의적 정렬 프레임워크(DAF-AGI)**를 구축하기 위해 **디자인 과학 연구 방법론(DSRM)**을 채택한다. 방법론은 문제 식별, 목적 정의, 설계/개발, 시연, 평가, 통신의 여섯 가지 DSRM 활동을 중심으로 구조화된다.

설계에는 세 가지 내장된 기법이 통합되어 있다:

1. 문서화된 정의 선택: 피어 리뷰를 거친 출판물, 기술 보고서, 주요 연구소의 입장문을 바탕으로 정의 코퍼스를 구축한다. 정의들은 어휘가 아닌, 그들의 성취 단위(예: 과업 수행력, 경제적 대체성, 역량 온톨로지)에 따라 "측정 패밀리"로 클러스터링된다.
2. 개념 공학(Conceptual Engineering): 카르납(Carnap)의 명료화(explication) 이론을 차용하여, 본 프레임워크는 AGI를 특정 기능, 즉 **공적 판정(public adjudication)**을 위해 재설계가 필요한 결함 있는 개념으로 취급한다. 기준들은 지능에 대한 본질적 진리를 발견하기보다는, 해당 기능에 대한 적합성을 평가하도록 공학적으로 설계되었다.
3. 과학기술학(STS) 관점: 프레임워크는 벤치마크와 정의가 가치를 인코딩하고 이득을 배분한다는 점을 인식하여 거버넌스 감사를 포함한다. 이 관점은 정의 뒤에 숨겨진 저자성과 물질적 이해관계를 공적 표준으로서의 적합성에 결정적인 변수로 취급한다.

본 인공물은 자연주의적 현장 배치 대신, 개념적 인공물의 설계에 부합하는 형성적 및 인공적 수단(내적 일관성 및 비교 가능성 타당성)을 통해 평가된다.

핵심 기여: DAF-AGI 인공물
주요 기여는 두 개의 결합된 구성 요소로 이루어진 DAF-AGI 프레임워크이다:

1. 다섯 가지 서열 척도 기준 (C1–C5): 후보 정의의 "판정 적합성"을 평가한다.

   • C1 (조작 가능성): 정의를 합의된 실패 조건이 있는 테스트로 전환할 수 있는가?
   • C2 (일반성): 정의가 실질적으로 다른 영역 전반에 걸친 폭넓음이나 준비되지 않은 조건으로의 전이를 요구하는가?
   • C3 (자율성에 대한 명시성): 정의가 자율적 목표 설정의 필요성, 배제 또는 등급화를 명시적으로 밝히고 있는가?
   • C4 (참조 표준): 비교 대상 클래스(예: "인간")가 테스트 가능할 정도로 정밀하게 지정되었는가?
   • C5 (절차적 안정성): 규칙이 소급적 변경 없이 시간이 지나도 비교 가능한 해석을 산출하는가?

2. 하나의 거버넌스 감사 (C6): 이는 서열 점수가 아니라 정의의 제도적 조건에 대한 구조적 독해이다. 다음을 감사한다:

   • 저자성: 누가 기준을 작성했는가?
   • 물질적 이해관계: 판정에 어떤 이해관계가 결부되어 있는가?
   • 인증: 누가 기준 충족을 선언하는가?
   • 외부 검증/이의 제기: 독립적인 검토가 존재하는가?
   • 개정 권한: 누가, 어떤 공개 요건 하에 규칙을 개정할 수 있는가?

프레임워크는 **정의적 주권(Definitional Sovereignty)**이라는 개념을 도입한다: 이는 "정의를 받아들이는" 정치체가 수입된 기술적 범주에 대해 이의를 제기하고, 인증하며, 책임 있게 개정할 수 있는 제도적 능력이다. 이는 알고리즘 주권(시스템 제어) 및 데이터 주권(데이터 제어)과는 구별되며, 해당 시스템을 평가하는 데 사용되는 '범주'에 관한 것이다.

시연 및 결과
프레임워크는 다섯 가지 주요 측정 패밀리와 하나의 디플레이션적 경계 입장에 대해 시연된다:

• 성능 우월성 (Performance Superiority): 일반성(C2)과 참조 표준(C4)에서 낮은 점수를 받는데, 이는 주장자가 선택 가능한 과업 세트에 의존하며 "인간"을 명시하지 않기 때문이다.
• 경제적 대체성 (Economic Substitution): 대부분의 기준에서 부분적인 점수를 받는다. 이는 AGI를 노동 시장과 결부시키지만, 역량과 배치 경제학을 혼동한다.
• 역량 온톨로지 (예: DeepMind의 레벨들): 일반성과 자율성에서는 높은 점수를 받으나, 조작 가능성과 절차적 안정성에서는 부분적인 점수를 받는다. 이는 벤치마크 선택이 저자 기관과 여전히 연결되어 있기 때문이다.
• 심리측정적 동등성 (예: CHC 이론): 조작 가능성과 참조 표준에서는 높은 점수를 받으나, 인간 테스트를 기계에 적용하는 과정에서의 자율성과 안정성 측면에서는 부분적인 점수를 받는다.
• 기술 습득 효율성 (예: ARC-AGI): 조작 가능성과 일반성에서는 높은 점수를 받으나, 자율성과 안정성(벤치마크 버전 관리로 인해) 측면에서는 부분적인 점수를 받는다.
• 디플레이션적 입장 (Deflationary Position): 조작화를 거부하며, 후보 표준이라기보다 거버넌스 비판으로서 기능한다.

강력한 도래 주장(Strong Arrival Claim)에 대한 스트레스 테스트:
프레임워크를 다음 주장에 적용하였다: "현재의 생성형 시스템은 많은 인지 과업에서 교육 수준이 높은 성인을 능가하므로 AGI에 해당한다."

• 결과: 해당 주장은 명시된 상태로는 공적으로 판정 불가능하다.
• 분석: 이 주장은 허용적인 성취 단위(과업 출력)와 까다로운 참조 클래스("교육 수준이 높은 성인")를 결합하고 있다. 성능(Performance) 조작화 하에서는 과업 세트가 유리하다면 이 주장이 통과될 수 있다. 그러나 심리측정(Psychometric) 또는 기술 습득(Skill-Acquisition) 조작화(동일한 참조 클래스를 사용하지만 전체 프로필의 동등성이나 새로운 과업 효율성을 요구함) 하에서는 이 주장은 실패한다. 해당 시스템들은 "들쭉날쭉한(jagged)" 프로필(지식에는 강하나 기억/추론에는 약함)을 보이며, 새로운 추론 벤치마크에서 실패한다.
• 결론: 이 주장의 설득력은 명시되지 않은 비대칭성에 의존한다: 즉, 허용적인 단위를 결합하면서도, 그 까다로운 조작화는 결코 직면하지 않는 참조 클래스를 사용하는 것이다. 프레임워크는 이를 경험적 사실이 아닌 거버넌스의 선택으로 폭로한다.

의의 및 범위
본 논문은 과도한 주장을 피하기 위해 범위를 명시적으로 제한한다:

• 경험적 검증이 아님: 시연은 저자에 의해 선택된 코퍼스를 대상으로 저자에 의해 수행되었다. 본 논문은 저자 간 신뢰도나 외부 타당성이 확보되었다고 주장하지 않으며, 이는 향후 필요한 단계이다.
• 새로운 정의가 아님: DAF-AGI는 AGI에 대한 "진정한" 정의를 제안하는 것이 아니다. 이는 정의를 평가하고 그 채택의 거버넌스 조건을 폭로하기 위한 도구이다.
• 역량 정렬에 앞선 정의적 정렬: 본 논문은 도래 판정 및 거버넌스 결과(규제, 계약, 자본 배분)를 촉발하기 위한 특정한 목적에 한하여, 정의적 정렬이 역량 정렬보다 논리적으로 선행한다고 주장한다. 이는 시스템의 행동, 교정 가능성 또는 위험에 관한 연구가 AGI 여부를 결정하지 않고 진행되는 것을 막거나 축소하려는 것이 아니다.
• 겸손한 성찰성: 저자는 프레임키 자체가 가치 선택(기준의 선택)을 내포하고 있음을 인정한다. 그러나 본 프레임워크는 검사 가능하고, 저자성이 공개되며, 자신이 평가하는 "포획된" 정의들과 달리 논쟁과 개정이 가능하다는 점에서 스스로의 거버넌스 테스트(C6)를 통과한다고 주장한다.

본 논문은 AGI의 정의를 확정하는 권력이 곧 주권적 능력이라고 결론짓는다. 수입 의존적인 국가와 대중에게 있어, 결정적인 종속성은 단순히 모델이나 데이터에 있는 것이 아니라, 그것들을 평가하는 데 사용되는 범주에 있다. 본 프레임워크는 이러한 종속성을 가시화하고 논쟁 가능하게 만드는 메커니즘을 제공한다.