Astra: AI Safety, Trust, & Risk Assessment

논문 개요: ASTRA (인도형 AI 안전성, 신뢰 및 위험 평가 프레임워크)

이 논문은 인도의 복잡한 사회 - 기술적 환경 (사회적 계층, 언어 다양성, 디지털 공공재의 광범위한 활용 등) 에 맞춰 설계된 **최초의 경험적 기반 AI 안전 위험 분류 체계 (Taxonomy)**를 제안합니다. 저자들은 기존의 서구 중심 AI 안전 프레임워크가 인도의 맥락 (특히 카스트, 종교, 지역적 격차 등) 을 반영하지 못한다고 지적하며, 디지털 공공재 (DPG) 와 디지털 공공 인프라 (DPI) 에 특화된 위험 데이터베이스인 **인도 AI 안전 위험 데이터베이스 (Indian AI Safety Risk Database, AIRD)**를 구축했습니다.

1. 문제 정의 (Problem Statement)

• 맥락적 무지 (Contextual Blindness): 기존 글로벌 AI 안전 프레임워크 (EU AI Act, MIT AI Risk Repository 등) 는 서구의 상업적 시스템과 제도적 환경을 전제로 합니다. 이는 인도의 다언어 환경, 낮은 디지털 문해력, 광범위한 비공식 경제, 그리고 카스트/종교 기반 차별과 같은 고유한 사회적 계층 구조를 반영하지 못합니다.
• 기술적 취약성: 대규모 언어 모델 (LLM) 은 사실적 정확성보다는 언어적 일관성에 최적화되어 있어 '할루시네이션 (Hallucination)'이 빈번하며, 훈련 데이터의 편향으로 인해 특정 인구집단 (예: 소수 언어 사용자, 특정 카스트) 을 배제하거나 해를 끼칠 수 있습니다.
• 규제 공백: 인도는 AI 를 국가 발전의 도구로 간주하지만, 경험적 데이터에 기반한 위험 분류 체계가 부재하여 정책 입안자와 개발자가 기술의 위험을 제대로 이해하지 못하거나 '기술 식민지화 (Techno-colonialism)'의 위험에 노출되어 있습니다.
• 핵심 문제: 인도의 디지털 공공재 (DPG) 배포에 따른 구체적인 안전 위험을 식별하고, 이를 현지화된 분류 체계로 정립하여 신뢰할 수 있는 AI 거버넌스를 확립하는 것입니다.

2. 방법론 (Methodology)

저자들은 Grounded Theory (귀납적 이론화) 접근법을 사용하여 하향식 (Top-down) 이 아닌 상향식 (Bottom-up) 분류 체계를 구축했습니다.

1. 자원 식별 및 도메인 선정: AI 안전 관련 문헌과 인도 내 위험 사례를 검토하여 금융 대출, 교육, 법률, 농업, 의료 등 5 개 핵심 도메인을 선정했습니다.
2. 사용 사례 (Use-Case) 수집 및 분류: 각 도메인에서 문서화된 위험 사례를 수집하고, 이를 'AI 안전 위험 (ASR, 설계 결함에서 기인)'과 '일반 AI 위험 (비 ASR)'으로 구분했습니다.
3. 카테고리 분류 체계 수립:
   • 인과적 분류 (Causal Taxonomy): 위험 발생의 시기 (개발/배포/사용), 이해관계자 (시스템/사용자), **의도 (고의/비고의)**를 기준으로 분류합니다.
   • 범주적 분류 (Category Taxonomy): 수집된 ASR 을 주제 분석을 통해 하위 범주와 상위 메타 범주로 그룹화했습니다.
4. 온톨로지 통합: 도메인별 분류 체계를 통합하여 인도 특유의 사회 - 기술적 현실을 반영한 범용 AI 안전 위험 온톨로지를 완성했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 인도형 AI 안전 위험 온톨로지 (Indian AI Safety Risk Ontology)

논문의 핵심 결과물은 **37 개의 하위 위험 클래스 (Leaf-level risk classes)**로 구성된 온톨로지입니다. 이는 크게 두 가지 메타 범주로 나뉩니다.

1. 사회적 위험 (Social Risks): 기술적 수정을 통해 완화 가능한 관찰 가능한 위험.

   • 편향과 배제 (Bias & Exclusion): 카스트, 종교, 성별, 언어, 접근성, 지리적 위치에 따른 편향 (예: 상층 카스트 기반 신용 데이터로 인한 소수자 대출 거절, 방언 화자 배제).
   • 유해성 (Toxicity): 혐오 발언 증폭, 심리적 조작, 잘못된 신념 강화.
   • 할루시네이션 및 오류: 사실 왜곡, 언어적/수학적 오류, 구식 데이터로 인한 오해.
   • 상황 인식 부족 (Situational Awareness): 저대역폭 환경, 전력 부족, 구형 하드웨어 등 인도 인프라 현실을 고려하지 않은 모델 설계.
   • 보안 및 개인정보: 데이터 중독 (Poisoning), 적대적 공격, 개인정보 유출.

2. 프런티어 및 사회 구조적 위험 (Frontier & Socio-Structural Risks): 거버넌스와 규제 개편이 필요한 복잡한 위험.

   • 인간 - 컴퓨터 상호작용: 자동화 편향, 기술적 해결주의 (Solutionism).
   • 사회경제 및 환경: 권력 집중 (컴퓨팅 독점), 실업, 환경 비용.
   • 위험한 능력 (Dangerous Capabilities): 유해 물질 생성 등 의도치 않은 유해 행동.
   • 해석 불가능성 (Uninterpretability): 블랙박스 의사결정으로 인한 책임 소재 불명확.

나. 구체적 사례 기반 분류 (Contextualized Examples)

이 분류 체계는 추상적 개념이 아닌 구체적인 인도 사례를 포함합니다.

• 카스트 편향: AI 신용 모델이 상층 카스트의 금융 행동을 '신뢰'의 기준으로 삼아 하층 카스트를 대출에서 배제.
• 언어적 배제: 힌디어 - 영어 ASR(음성인식) 이 부족 언어 사용자의 발음을 오인식하여 교육 기회 박탈.
• 인프라 격차: 시골 지역의 불안정한 인터넷으로 인해 교육용 AI 스트리밍이 중단되거나, Face-matching 출결 시스템이 동기화되지 않아 학교가 '폐교'로 잘못 기록됨.
• 정치적 오용: AI 를 이용한 가짜 뉴스 생성, 선거 기간 중 고인이나 유명인의 딥페이크 활용.

다. 범용 분류 체계 (Domain-Agnostic Ontology)

이 온톨로지는 특정 도메인에 국한되지 않으며, 교육, 금융, 의료 등 다양한 공공 부문에 적용 가능한 공통 진단 언어를 제공합니다.

4. 의의 및 중요성 (Significance)

1. 맥락적 적합성 (Contextual Relevance): 서구 중심의 안전 기준을 단순히 적용하는 것을 넘어, 인도의 카스트, 종교, 언어 다양성, 인프라 제약을 고려한 최초의 경험적 위험 분류 체계를 제시했습니다.
2. 디지털 공공재 (DPG) 보호: 아드하아르 (Aadhaar), UPI 등 인도의 핵심 디지털 인프라가 AI 를 통해 확장될 때 발생할 수 있는 사회적 해악을 사전에 예방할 수 있는 틀을 마련했습니다.
3. 거버넌스 및 규제 지원: 정책 입안자, 감사자, 개발자에게 위험을 식별하고 완화하기 위한 공통 언어와 도구를 제공하여, 수동적 대응에서 능동적 안전 설계로 전환을 촉진합니다.
4. 지속 가능한 발전: AI 가 인도의 빈곤 퇴치 및 발전 목표에 부합하도록 보장하며, '기술 식민지화'를 방지하고 주권적 AI 생태계를 구축하는 데 기여합니다.
5. 미래 지향성: 이 온톨로지는 '살아있는 레포지토리 (Living Repository)'로 발전할 예정이며, 향후 농업, 의료 등 추가 도메인을 확장하고 정량적 위험 점수 (Actuarial priors) 를 부여하여 규제 준수 및 보험 산정 등에 활용될 것입니다.

결론

ASTRA 논문은 인도가 AI 시대에 직면한 고유한 도전을 해결하기 위해, 기술적 안전성과 사회적 형평성을 동시에 고려한 새로운 거버넌스 패러다임을 제시합니다. 이는 단순한 기술 보고서가 아니라, 인도의 디지털 주권과 공공 이익을 보호하기 위한 전략적 로드맵으로 평가됩니다.