💻 computer science

Possibility Ethics: Measuring Moral Value as the Expansion of Safe Future Options in Sociotechnical Systems

이 논문은 총합적 척도에서는 흔히 놓치는 분포적 기회 손실을 드러내기 위해 '옵션 엔트로피(Option Entropy)'라는 새로운 지표를 통해 윤리적으로 허용 가능한 미래 기회에 미치는 영향을 정량화하는 '가능성 윤리(Possibility Ethics)'라는 개념적-계산적 프레임워크와 이를 구현한 Omega-PE 툴킷을 소개한다.

원저자: Mohammad Amir Khusru Akhtar

게시일 2026-09-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohammad Amir Khusru Akhtar

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 사회에서 기술은 단순히 결과를 전달하는 데 그치지 않고, 우리가 다음에 무엇을 할 수 있는지에 대한 가능성의 지형 자체를 형성합니다. 디지털 플랫폼이 내보내기 버튼을 제거하거나, 병원의 일정이 환자의 교통수단 부재를 무시할 때, 즉각적인 문제는 단지 나쁜 결과가 발생하는 것이 아니라 미래가 축소되는 것입니다. 이것이 바로 소프트웨어와 인간의 제도가 서로 얽혀 사람들에게 주어진 선택의 범위를 결정하는 사회기술적 시스템(sociotechnical systems)의 영역입니다. 수년 동안 윤리학자들은 인간의 자유를 보호하고 공정성을 보장해야 한다고 주장해 왔지만, 이러한 아이디어들은 엔지니어가 서로 다른 시스템 설계를 비교하는 데 사용할 수 있는 도구가 되기보다는 대개 추상적인 원칙으로 남아 있었습니다. 과제는 새로운 설계가 한 사람의 진실하고 안전한 기회를 실제로 확장하는지, 아니면 조용히 좁히고 있는지를 측정할 방법을 찾는 것이었습니다.

연구자 모하마드 아미르 쿠스루 악타르(Mohammad Amir Khusru Akhtar)가 개발한 '가능성 윤리(Possibility Ethics)'라는 새로운 프레임워크는 이 질문에 답할 수 있는 구체적인 방법을 제시합니다. 이 프레임워크는 한 사람의 총 행복이나 도덕적 가치를 계산하려고 하는 대신, 다음과 같은 구체적이고 측정 가능한 질문에 집중합니다. "시스템 설계가 특정 집단의 사람들에게 얼마나 많은 뚜렷하고, 안전하며, 실행 가능한 미래 경로를 열어두는가?" 핵심 아이디어는 도덕적으로 더 나은 설계란, 특히 취약 계층에게 있어 이러한 뚜렷한 미래 옵션의 수를 보존하거나 증가시키는 설계라는 것입니다. 이를 위해 연구진은 사람이 실제로 달성할 수 있는 결과의 종류를 세는 동시에, 단지 이론적이거나 지나친 위험을 수반하는 선택지는 걸러내는 방식을 고안했습니다.

연구진은 미래를 단일한 선이 아닌 가지가 뻗어 나가는 나무로 취급하여 이 아이디어를 테스트하기 위한 계산 시스템을 구축했습니다. 먼저, 시스템은 정해진 시간 범위 내에서 한 사람이 취할 수 있는 모든 잠재적 경로를 살펴봅니다. 그다음 일련의 엄격한 필터를 적용합니다. 돈, 시간, 기술 또는 권한이 부족하여 실제로 따를 수 없는 경로는 '실행 불가능'한 것으로 간과합니다. 또한 본인이나 타인, 혹은 공동체에 해를 끼치는 경로도 제거합니다. 위험하거나 불가능한 경로들이 제외되면, 시스템은 남은 경로들을 최종 결과에 따라 카테고리로 그룹화합니다. 두 경로가 동일한 종류의 결과로 이어진다면, 그것은 하나의 옵션으로 계산됩니다. 시스템은 사용 가능한 뚜렷하고 안전한 카테고리의 수에 기반하여 점수를 산출합니다. 새로운 종류의 안전한 옵션이 나타나면 점수가 상승하지만, 옵션의 수가 매우 많아질수록 점수 상승 폭은 완만해지는데, 이는 첫 몇 개의 새로운 선택지가 가장 중요하다는 개념을 반영한 것입니다.

이 방법이 실제 세계에서 작동하는지 확인하기 위해 연구팀은 두 가지 유형의 테스트를 수행했습니다. 통제된 시뮬레이션에서 그들은 다양한 수준의 지원을 받는 학생 집단을 대상으로 세 가지 다른 시스템 설계를 비교했습니다. 한 설계는 시스템을 떠나 오프라인 상태가 될 수 있는 방법을 제공했고, 다른 하나는 개인 맞춤형 비서를 제공했으며, 세 번째는 표준 베이스라인이었습니다. 결과에 따르면, 사람들이 떠나서 오프라인으로 갈 수 있게 하는 설계가 가장 적은 자원으로 시작한 학생들에게 가장 뚜렷하고 안전한 미래 옵션을 만들어냈습니다. 맞춤형 비서는 일부에게는 도움이 되었지만, 가장 취약한 집단에게는 베이스라인과 비교했을 때 전체적인 안전 옵션의 수를 오히려 감소시켰습니다. 이 시뮬레이션은 이 프레임키가 단순한 평균 점수로는 놓칠 수 있는 미묘한 차이, 즉 어떤 설계가 누군가에게는 도움이 되는 동시에 다른 이들에게는 조용히 해를 끼칠 수 있다는 사실을 감지할 수 있음을 증명했습니다.

연구진은 동일한 방법을 거의 8,000명의 학생들의 학습 여정을 수년간 추적한 오픈 유니버시티(Open University)의 방대한 실제 데이터셋에 적용했습니다. 그들은 장애가 있는 학생들, 저소득층 배경의 학생들, 그리고 과목을 재수강하는 학생들이 학업을 어떻게 수행하는지 살펴보았습니다. 분석 결과, 프로그램의 한 해는 전반적인 경로의 수는 약간 개선되었으나, 동시에 장애가 있는 학생들의 옵션을 감소시킨 것으로 나타났습니다. 총점은 좋아 보였지만, 세부적인 분석은 특정 집단이 뒤처지고 있음을 보여주었습니다. 이 발견은 '옵션 복구(Option Repair)', 즉 시스템 설계자가 해당 학생들을 가로막은 요소가 무엇인지 식별하고 그 잃어버린 선택권을 복구할 방법을 찾아야 하는 절차적 단계를 요구하게 했습니다. 이 연구는 평균을 보는 것이 특정 공동체의 자유가 침식되는 현상을 어떻게 숨길 수 있는지를 보여주었습니다.

이 프레임워크는 모든 윤리적 문제를 해결하거나 인간의 판단을 대체한다고 주장하지 않습니다. 이 모델은 존엄성, 미덕, 또는 광범의 의미에서의 삶의 질을 측정하지 않습니다. 대신, 감사관과 설계자가 시스템이 미래의 가능성 메뉴를 어떻게 변화시키는지 정확히 볼 수 있도록 하는 투명하고 재현 가능한 도구를 제공합니다. 이는 어떤 옵션이 실재하는 것이고 어떤 것이 환상인지에 대한 명확한 회계를 강요하며, 선의를 가진 설계라 할지라도 가장 취약한 이들의 지평을 좁힐 수 있음을 강조합니다. 미래 옵션의 구조를 가시화하고 비교 가능하게 함으로써, '가능성 윤리'는 우리의 사회기술적 시스템이 인간의 주체성을 확장하는 방향으로 나아가도록 보장하는 길을 제시합니다.

기술 요약: 가능성 윤리 (Possibility Ethics)

문제 정의
사회기술적 시스템(AI, 디지털 플랫폼, 제도적 워크플로우 포함)은 즉각적인 결과뿐만 아니라 개인과 공동체가 선택할 수 있는 가용한 미래의 범위 전체를 점점 더 강력하게 형성하고 있다. 기존의 윤리적 프레임워크는 자율성, 공정성, 역량과 같은 원칙들을 명시하고 있으나, 대안적인 시스템 설계가 윤리적으로 허용 가능한 미래의 기회를 어떻게 보존하거나 확장하는지를 비교할 수 있는 투명하고 계산 가능한 방법론이 결여되어 있다. 현재의 접근 방식들은 이러한 원칙들을 실행 가능한 감사 파이프라인으로 구현하는 데 있어 타당성, 위해성, 분배적 형평성, 그리고 "도달 가능한 미래"의 구조적 성격을 반영하는 데 종종 실패한다.

방법론: 가능성 윤리 프레임워크
본 논문은 구별되고 실행 가능하며 윤리적으로 허용 가능한 미래 옵션 클래스(option classes)에 미치는 영향을 측정함으로써 사회기술적 시스템을 평가하도록 설계된 개념적-계산적 프레임키워드인 **가능성 윤리(Possibility Ethics)**를 소개한다. 이 방법론은 Omega-PE 소프트웨어 툴킷에 구현되었으며, 다음과 같은 결정론적 감사 파이프라인을 따른다:

형식적 정의:
- 생존 가능성 (Viability): 궤적이 엄격한 전제 조건을 충족하고 실행 가능성 점수( $F$ )가 임계값( $\tau$ )을 초과하는 경우 생존 가능한 것으로 간주된다. 이는 비용이나 지원 부족 등으로 인해 실제로는 불가능한 명목상의 옵션들을 걸러낸다.
- 해악 가드레일 (Harm Guardrail): 궤적이 에이전트, 제3자 또는 집단적 가치에 미치는 예측 위험( $R$ )이 허용 오차( $\gamma$ ) 미만인 경우에만 윤리적으로 허용 가능하다.
- 결정론적 클러스터링 (Deterministic Clustering): 허용 가능한 궤적들은 유사성 규칙과 임계값( $\theta$ )을 사용하여 결과 클래스로 매핑된다. 이는 중복되거나 거의 동일한 결과를 단일 옵션 클래스로 취급함으로써 "메뉴 인플레이션"을 방지한다.
- 옵션 엔트로피 ( $\Omega$ ): 핵심 지표는 다음과 같이 정의되는 로그 기반 기회 지수이다:
  $\Omega^d_i = \log(\kappa + K^d_i) - \log \kappa = \log\left(1 + \frac{K^d_i}{\kappa}\right)$
  여기서 $K^d_i$ 는 설계 $d$ 하에서 코호트 $i$ 를 위한 구별되는 허용 가능 결과 클래스의 개수이며, $\kappa$ 는 평활화(smoothing) 파라미터이다. 이 로그 형태는 한계 효용 체감(101번째 옵션의 가치는 2번째 옵션보다 작음)을 보장하며, 교차 도메인 비교를 위해 규모를 압축한다.
집계 및 안전장치:
- 취약성 민감 집계 (Vulnerability-Sensitive Aggregation): 설계는 취약한 코호트에게 더 높은 가중치( $V_i$ )를 부여하는 가중 합계( $L(d)$ )를 사용하여 점수가 매겨진다.
- 그룹 하한선 (Group Floors): 최약층에게 발생하는 심각한 손실이 전체적인 이득에 의해 가려지지 않도록 보호 그룹에 대한 최소 임계값( $\phi_g$ )을 설정한다.
- 코호트 수준의 비퇴보성 (Cohort-Level Non-Regression): 설계는 특정 코호트의 옵션 엔트로피를 기준치에서 허용 오차( $\epsilon_i$ )를 뺀 값 아래로 낮추어서는 안 된다. 위반 시에는 장벽을 식별하고 복구 또는 보상을 평가하기 위한 절차적 요구사항인 **옵션 복구(Option Repair)**가 트리거된다.
수학적 속성:
본 프레임워크는 가드된 단조성(새로운 허용 가능 클래스를 추가하면 항상 점수가 증가함), 중복 불변성(중복된 클래스를 추가해도 점수가 변하지 않음), 그리고 한계 기여의 감소를 확립한다. 성격 규정 정리(Characterization theorem)는 독립적 구성 공리(independent-composition axiom) 하에서 로그 형태가 유효한 기회 다중성의 유일한 연속적이고 엄격히 증가하는 척도임을 증명한다.

주요 기여

7가지 요소의 통합: 본 논문은 계산 가능한 기회 측정, 실행 가능성/생존 가능성 필터링, 해악 가드레일, 결정론적 클러스터링, 취약성 민감 집계, 비퇴보성 안전장치, 그리고 절차적 복구 메커니즘을 단일 감사 파이프라인으로 독특하게 통합하였다.
형식적 규정: "옵션 엔트로피"에 대한 엄격한 수학적 토대를 제공하여, 이를 확률 분포가 아닌 상태 공간의 조합적 크기에 집중하는 섀넌 엔트로피(Shannon entropy)와 구별한다.
재현 가능한 구현: 프레임워크는 합성 벤치마크 및 실제 데이터 감사를 위한 스크립트를 포함한 Omega-PE 소프트웨어 아티팩트로 공개되어 결과의 완전한 재현성을 보장한다.

결과 및 평가
본 프레임워크는 두 가지 서로 다른 접근 방식으로 평가되었다:

합성 벤치마크: 네 개의 코호트에 대해 세 가지 설계(Baseline, Exit/Offline, Personalized Assistant)를 통제된 비교를 수행하였다.
- 결과: "Exit/Offline" 설계가 가장 높은 순위를 차지했는데, 이는 기본 옵션이 적은 코호트들에게 구별되는 허용 가능한 경로를 생성했기 때문이다. "Personalized Assistant"는 전체적인 개선에도 불구하고 특정 취약 그룹의 옵션을 감소시키는 경우가 있어 낮은 순위를 기록했다.
- 민감도 분석: 선호되는 설계는 생존 가능성( $\tau$ ) 및 해악( $\gamma$ ) 임계값 그리드 전반에서 1위를 유지했으나, 차순위 순위는 변동을 보였다. 이는 가정에 의존적인 결과들을 식별하는 데 있어 프레임워크의 진단적 유용성을 입증한다.
실제 데이터 감사 (OULAD): Open University 학습 분석 데이터셋(4개 프레젠테이션에 걸친 7,909명의 학생 기록)에 대한 관찰적 감사를 수행하였다.
- 결과: 2014J 프레젠테이션이 가장 높은 총체적 기회 수준( $L(d) = 7.773$ )을 보였다. 그러나 프레임워크는 코호트 수준의 퇴보를 감지하였다: "장애(disability)" 코호트는 2014J에서 옵션 엔트로피의 하락을 경험했고, "재수(repeat attempt)" 코호트는 2014B에서 퇴보를 보였다.
- 시사점: 이러한 퇴보는 옵션 복구(Option Repair) 프로토콜을 트리거하였으며, 이는 총체적인 개선이 취약 계층의 특정 손실을 은폐할 수 있다는 점을 보여준다. 이는 표준적인 집계 지표로는 숨겨지는 뉘앙스이다.

의의 및 주장
본 논문은 가능성 윤리를 도덕 이론, 정치적 추론, 또는 포괄적인 정의 프레임워크를 대체하는 것이 아니라, 투명하고 재현 가능하며 감사가 가능한 의사결정 지원 도구로 위치시킨다.

범위: 이는 "두 가지 후보 사회기술적 설계 중, 어떤 설계가 안전 및 분배적 제약을 준수하면서 사람들의 진정한 미래 기회를 더 효과적으로 보존하거나 확장하는가?"라는 구체적이고 종종 암묵적인 질문을 다룬다.
한로: 저자는 본 프레임워크가 행복, 존엄성 또는 미덕을 측정하는 것이 아님을 명시적으로 인정한다. 이는 생존 가능성, 해악 및 유사성에 관한 선언된 가정에 의존하며, 이러한 가정들이 정당성을 갖기 위해서는 참여적 거버넌스와 공적 정당화가 필요하다.
가치: 본 연구의 주요 기여는 사회기술적 거버넌스 내에서 기회 구조의 확장과 수축을 가시화하고, 비교 가능하며, 논쟁 가능하고, 복구 가능하게 만드는 데 있다. 이를 통해 윤리적 AI 실무를 추상적인 원칙에서 실행 가능한 감사로 전환한다.

유사한 논문