💻 computer science

The Creation and Analysis of Government AI Transparency Statements in Australia

본 논문은 호주 정부의 AI 투명성 진술서(AITS-101)에 대한 최초의 데이터셋을 소개하고, 공개 관행의 중대한 차이와 정책 의도와 실행 간의 격차를 드러내기 위해 포괄적인 다중 방법 분석을 수행합니다.

원저자: Shidong Pan, Haochen Gong, Boming Xia, Xiaoyu Sun, Xiwei Xu, Liming Zhu

게시일 2026-04-30

📖 4 분 읽기☕ 가벼운 읽기

원저자: Shidong Pan, Haochen Gong, Boming Xia, Xiaoyu Sun, Xiwei Xu, Liming Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 개념을 명확히 하기 위해 비유를 사용하여 일상적인 언어로 번역된 설명입니다.

큰 그림: 정부 AI 를 위한 "메뉴"

호주 정부가 거대한 레스토랑이라고 상상해 보세요. 최근 그들은 요리를 돕고 고객을 서비스하기 위해 새로운 강력한 주방 로봇 (인공지능) 을 사용하기로 결정했습니다. 이 로봇이 실제 사람들의 삶에 영향을 미치는 결정을 내리기 때문에, 정부는 대중에게 다음과 같이 약속했습니다: "우리는 이 로봇을 어떻게 사용하는지 정확히 기록할 것입니다."

이 약속은 **AI 투명성 선언문 (AITS)**이라는 문서 형태로 이루어집니다. 이러한 선언문은 대중을 위한 레스토랑의 "메뉴"나 "레시피 카드"라고 생각하세요.

이 논문은 처음으로 이러한 메뉴들 (저자들이 AITS-101이라고 부르는 101 개) 을 모두 모아 신중하게 읽어보았습니다. 이것이 실제로 도움이 되는지, 아니면 단순히 혼란스러운 전문 용어인지 확인하기 위함입니다.

연구자들이 한 일

저자들은 음식 평론가와 탐정처럼 행동했습니다. 그들은 단순히 메뉴를 읽는 것을 넘어 세 가지 구체적인 방식으로 분석했습니다:

"스타일 점검" (스타일론 분석): 메뉴가 어떻게 작성되었는지 살펴보았습니다. 짧고 간결한가, 아니면 길고 지루한가? 평범한 영어로 쓰였는가, 아니면 혼란스러운 "관료어"로 가득 차 있는가?
"재료 수량 세기" (정량 분석): 메뉴에 실제로 중요한 재료들이 나열되었는지 확인했습니다. 정부는 로봇이 무엇을 하는지, 어디에서 사용되는지, 그리고 실수가 없도록 어떻게 감시하는지 명시했는가?
"이야기 패턴" (정성 분석): 반복되는 주제를 찾았습니다. 서로 다른 정부 부서가 동일한 규칙을 어떻게 처리하는가?

그들이 발견한 것

간단히 설명한 주요 발견 사항은 다음과 같습니다:

1. 메뉴는 짧지만 여전히 읽기 어렵습니다

발견: AI 투명성 선언문은 보통 매우 크고 지루한 법적 문서인 개인정보 보호 정책보다 훨씬 짧습니다. 그러나 여전히 대학 수준의 독해 능력이 필요한 언어로 작성되어 있습니다.
비유: 한 페이지 분량의 메뉴가 있다고 상상해 보세요. 하지만 그것은 대학 교수만 이해할 수 있는 비밀 코드로 작성되어 있습니다. 레스토랑에 들어서는 평범한 사람은 실제로 그것을 읽을 수 없습니다.
문제: 정부는 "평범한 언어"를 사용할 것이라고 약속했지만, 연구자들은 대부분의 메뉴가 대중이 이해하지 못하는 화려하고 추상적인 단어 (예: '사용하다' 대신 '활용하다') 와 전문 용어를 여전히 사용하고 있음을 발견했습니다.

2. "우리가 하는 일" 대 "우리가 하지 않는 일"

발견: 대부분의 메뉴는 "우리는 규칙을 따릅니다"와 "로봇을 감시하는 책임자가 있습니다"라고 말하기에는 매우 훌륭합니다. 하지만 로봇이 실제로 무엇인지 설명하는 데는 매우 부족합니다.
비유: 셰프에게 "이 로봇은 어떤 종류인가요?"라고 물었을 때, 그들이 "토스터도 아니고 믹서기도 아닙니다"라고 대답하지만, 그것이 실제로 피자 오븐인지 튀김기인지 결코 말해주지 않는다면, 당신은 무엇을 얻게 되는지 정확히 알 수 없습니다.
현실: 많은 기관들이 그들이 무엇을 "AI"로 간주하는지 정의하지 않았습니다. 그들은 모두 알고 있다고 가정했을 뿐입니다. 이는 혼란을 초래합니다.

3. "인간 안전망"은 모호합니다

발견: 많은 기관들 (특히 복지 등 취약 계층을 다루는 기관) 은 "우리는 로봇이 최종 결정을 내리게 하지 않습니다; 인간이 항상 확인합니다"라고 말합니다.
비유: 레스토랑이 "우리의 로봇 셰프는 음식을 서빙하지 않습니다; 인간이 항상 먼저 맛을 봅니다"라고 말하는 것과 같습니다. 하지만 그들이 어떻게 맛을 보는지는 말하지 않습니다. 모든 접시를 맛보나요, 아니면 백 개 중 하나만 맛보나요? 선언문에는 "인간이 참여한다"고 되어 있지만, 그 인간이 실제로 좋은 일을 하고 있는지 설명하지는 않습니다.

4. "부모 - 자녀" 전화 게임

발견: 많은 작은 정부 기관들은 자신들만의 고유한 메뉴를 작성하지 않습니다. 대신 큰 "부모" 부서의 메뉴를 그대로 복사합니다.
비유: 대형 레스토랑 체인이 소유한 작은 푸드 트럭을 상상해 보세요. 그 푸드 트럭의 메뉴에는 "자세한 내용은 메인 레스토랑 메뉴를 참조하세요"라고만 적혀 있습니다. 이 푸드 트럭이 자신들의 특정 위치에 맞는 특정 로봇을 사용하는지, 아니면 단순히 대형 체인의 일반적인 규칙을 사용하는지 알기 어렵게 만듭니다.

5. "코파일럿" 표준

발견: 기관들이 가장 흔히 사용한다고 인정하는 것은 마이크로소프트 365 코파일럿(이메일 및 문서 작성을 위한 AI 도구)입니다.
비유: 거의 모든 정부 사무실에는 편지 작성을 위한 동일한 "스마트 어시스턴트"가 있습니다. 위험은 도구 자체에 있는 것이 아니라 (표준 제품이므로), 개별 직원들이 그것을 어떻게 사용하는지에 있습니다. 마치 모두에게 강력한 전동 드릴을 주는 것과 같습니다. 도구는 안전하지만, 누군가가 선반을 고치는 대신 집을 짓는 데 사용한다면, 그 위험은 메뉴에 완전히 반영되지 않습니다.

결론

이 논문은 현재의 AI 투명성 선언문 시스템이 정부 책임성(규칙 준수를 보여주기 위해 체크박스를 찍는 것) 에 대해서는 잘 작동하고 있지만, 대중의 이해에는 실패하고 있다고 결론 내립니다.

최종 비유:
정부는 책임감 있음을 증명하기 위해 매우 깔끔하고 조직적인 서류함 (AITS) 을 만들었습니다. 하지만 서랍을 열면 안의 문서들이 대중이 해독할 수 없는 언어로 작성되어 있습니다. 정부는 "우리는 안전합니다"라고 말하고 있지만, "우리가 정확히 어떻게 안전한지"는 실제로 말해주지 않습니다.

저자들은 대중이 이러한 시스템을 진정으로 신뢰하기 위해서는 "메뉴"가 단순한 법적 준수 목록이 아니라, 실제로 기술을 설명하는 쉽고 명확한 언어로 다시 작성되어야 한다고 제안합니다.

호주 "정부 AI 투명성 진술서의 작성 및 분석" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

정부는 공공 서비스에 인공지능 (AI) 을 점점 더 많이 도입하고 있으며, 이는 공공 신뢰를 유지하고 책임을 보장하기 위해 투명성이 필수적입니다. 호주는 정부 기관이 AI 사용 방식을 공개하도록 의무화하는 "AI 투명성 진술서 표준 (AITS)"을 도입했습니다. 그러나 다음과 같은 사항에 대한 경험적 증거가 부족합니다.

이러한 규제 요구사항이 실제 공문서에서 어떻게 구현되는지.
이러한 공개 내용의 일관성, 범위 및 가독성.
정책 의도 (안전하고 윤리적인 AI 사용) 와 실제 구현 사이의 격차.

이전 연구는 법적 체계나 개인정보 보호 정책에 초점을 맞추었으나, 정부 AI 투명성 진술서에 대한 체계적인 연구는 존재하지 않았습니다.

2. 방법론

저자들은 양적 및 질적 기법을 결합한 스타일메트릭 (stylometric) 분석을 포함한 혼합 방법론 문서 분석 접근법을 사용했습니다.

A. 데이터셋 구축 (AITS-101)

범위: 이 연구는 호주 내 국방 및 정보 기관을 제외한 모든 174 개의 eligible 비법인 연방 기관 (NCEs) 을 대상으로 했습니다.
수집: 연구진은 "AI 투명성 진술서" 또는 이와 유사한 제목의 문서를 공식 정부 웹사이트에서 체계적으로 검색했습니다.
필터링: 연구진은 101 개의 유효한 AITS(AITS-101 데이터셋) 를 확인했으며, 72 개 기관은 진술서가 없음을 확인했습니다.
전처리: 이질적인 형식 (HTML, PDF, DOCX) 의 문서를 일반 텍스트로 변환했습니다. 규칙 기반 파서와 수동 검토를 사용하여 텍스트를 "섹션"(제목 + 본문) 으로 분할하고 목록 항목을 정규화했습니다.
주석 체계: 10 가지 AI 실무 카테고리의 분류 체계가 개발되었습니다 (예: AI 정의, AI 의도, 모니터링 조치, 규정 준수). 총 2,923 개의 문장이 주석되었습니다.

B. 분석 기법

스타일메트릭 분석:
- 길이 및 구조: 개인정보 보호 정책 (PP) 기준 데이터셋과 단어 수 및 섹션 수를 비교했습니다.
- 가독성: Flesch–Kincaid Grade Level (FKGL) 지표를 사용하여 평가했습니다.
- 어휘적 특징: 네 가지 차원 (단순한 단어, 전문 용어 회피, 인칭 대명사, 포용적 언어) 에 걸쳐 "간결한 언어" 가이드라인 준수 여부를 평가했습니다. 이는 인간 전문가에 의해 검증된 **LLM 기반 주석 (GPT-5)**을 활용하여 수행되었으며, 코헨의 카파 ( $\kappa$ ) 는 0.70 이었습니다.
양적 구성 분석:
- 10 개 주석 카테고리 각각에 대해 빈도, 평균, 중앙값 및 범위 (해당 카테고리를 포함한 문서의 비율) 를 계산했습니다.
질적 패턴 분석:
- 데이터의 함의를 해석하기 위해 진술서 내에서 반복되는 구조적 패턴과 거버넌스 모델을 식별했습니다.

3. 주요 기여

AITS-101 데이터셋: 향후 연구를 위한 기초 자원으로 기능하는 101 개 정부 AI 투명성 진술서의 첫 번째 큐레이션 공개 데이터셋.
최초 체계적 경험적 연구: 정부 AITS 의 내용, 구조 및 언어적 특징에 대한 최초의 분석.
방법론적 프레임워크: 규제 공개 문서를 분석하기 위한 하이브리드 주석 파이프라인 (LLM + 인간 검증) 확립.
정책 통찰력: 정책과 실무 간의 격차를 더 잘 해소하기 위해 투명성 표준을 개선하기 위한 증거 기반 제안 제공.

4. 주요 결과 및 발견

A. 스타일메트릭 및 언어적 발견

간결성: AITS 는 개인정보 보호 정책 (PP) 보다 현저히 짧습니다 (중앙값: 498 단어 대 PP 의 4,379 단어) 그리고 섹션 수도 적습니다 (6.8 대 28.0).
가독성 장벽: 더 짧음에도 불구하고 AITS 는 읽기가 더 쉽지 않습니다. 중앙값 FKGL 점수는 14.16(대학 수준) 으로 개인정보 보호 정책과 거의 동일하여 일반 대중에게는 여전히 접근하기 어렵다는 것을 나타냅니다.
간결한 언어 준수: 전체적으로 간결한 언어 가이드라인에 대한 준수는 낮습니다 (평균 점수: 1.55/4).
- 약점: "단순한 단어"(0% 준수) 와 "전문 용어 회피"(5% 준수) 에서 심각한 문제가 발생했습니다. 문서는 관료적 어휘 (예: "utilise", "engage") 와 설명되지 않은 기술 약어 (예: "ICT") 에 크게 의존합니다.
- 강점: "포용적 언어"(100%) 에 대한 높은 준수와 "인칭 대명사"(52%) 의 moderate 사용.

B. 내용 구성 발견

거버넌스 대 기술적 세부 사항: 공개 내용은 기술적 설명보다는 행정적 준수에 치우쳐 있습니다.
- 높은 범위: 규정 준수(100%), 모니터링 조치(92%), 업데이트 정보(98%).
- 낮은 범위: AI 정의(40.6%), 공공에 미치는 영향(74.3%), AI 의도(79.3%).
모호성: 많은 기관이 공유된 이해를 전제로 "AI"가 무엇을 구성하는지 정의하지 못하여 범위에 대한 일관되지 않은 해석을 초래합니다.

C. 구조적 패턴 및 함의

이 연구는 기관들이 투명성을 운영화하는 방식에서 네 가지 중요한 패턴을 식별했습니다.

정의적 범위 (구문 대 출처): 기관들은 엄격하게 "규칙 기반" 또는 결정론적 시스템을 AI 정의에서 제외합니다 (확률적 추론에 초점). 이는 고유의 위험을 유지하면서도 정적 규칙으로 고정된 데이터 기반 모델이 투명성 요구사항을 우회할 수 있는 구멍을 만듭니다.
부정적 보증: 고위험 기관 (예: 사회 서비스) 은 그들이 하지 않는 것으로 AI 태도를 정의합니다 (예: "우리는 최종 결정에 AI 를 사용하지 않습니다"). 이는 인간 감독을 주장하지만, 그 감독이 어떻게 작동하는지에 대한 운영 세부 사항이 부족합니다.
구조적 의존성: 소규모 기관은 종종 더 큰 "모부서"의 IT 인프라에 의존합니다. 이로 인해 광범위한 포트폴리오 수준의 정책을 참조하는 투명성 진술서가 발생하여 특정 기관 사용 사례와 이를 지배하는 인프라가 분리됩니다.
"코파일럿" 표준화: 가장 일반적인 사용 사례는 "근무장소 생산성"(예: Microsoft 365 Copilot) 입니다. 이는 위험 관리 초점을 특정 알고리즘 검증에서 이러한 도구를 사용하는 직원의 분산된 일상적 의사결정 관리로 전환시킵니다.

5. 중요성

정책 진화: 이 발견은 "공공 이해"라는 목표와 "관료적 준수"라는 현실 사이의 불일치를 강조합니다. 현재 AITS 프레임워크는 조직적 책임을 효과적으로 수행하지만, 공공 감사성을 위한 기술적 세분성을 제공하지는 못합니다.
위험 관리: 이 연구는 현재 투명성 메커니즘이 결정론적 시스템과 생성형 AI 도구에 대한 작업의 하향 위임과 관련된 위험을 은폐할 수 있음을 보여줍니다.
미래 표준: 저자들은 미래의 투명성 표준이 고위급 거버넌스 주장을 넘어 다음을 포함해야 한다고 주장합니다.
- 출처를 포함한 더 명확한 AI 범위 정의.
- 인간 개입 (human-in-the-loop) 메커니즘에 대한 운영 세부 사항.
- 진정한 공공 접근성을 보장하기 위한 단순화된 언어.

한계점: 이 연구는 LLM 기반 어휘 분석 (특히 법적 약어와 관련하여) 에 잠재적인 노이즈와 문장 수준 주석의 고유한 주관성을 인정하지만, 완화 전략이 동원되었습니다.