기술 요약: LINGUA-AUDIT

문제 정의

대규모 언어 모델(LLM)이 다국어 사회의 공공 서비스 및 시민 복지 제도를 위한 대화형 인터페이스로 점점 더 많이 도입됨에 따라, 핵심적인 과제가 부상했습니다: 바로 **AI 매개 정보 불평등(AI-mediated information inequality)**입니다. 이 현상은 서로 다른 언어적 조건 하에서 동일한 정보 요구를 가진 시민들에게 제공되는 실질적, 사실적, 실행 가능한 정보 사이의 체계적인 괴리를 의미합니다.

고위험 시민 맥락(예: 의료 자격, 법적 문서, 복지 제도)에서 성능 차이는 단순한 문체나 유창함의 문제가 아닙니다. 대신, 이는 비영어 또는 코드 스위칭(예: Hinglish) 쿼리가 영어 쿼리에 비해 불완전하거나, 시대에 뒤떨어지거나, 사실적으로 잘못된 안내를 제공함으로써 발생하는 실질적인 위해(substantive harms)로 나타납니다. 기존의 다국어 평가는 표면적인 능력(당혹도, 번역 점수 또는 객관식 시험)에 주로 집중하며, 동일한 시민 정보 요구가 언어 간에 형평성 있게 충족되는지를 평가하는 데는 실패하고 있습니다.

방법론

본 논문은 실질적인 정보 불평생을 체계적으로 평가하기 위해 설계된 재현 가능한 프레임워크인 LINGUA-AUDIT를 제시합니다. 이는 벤치마크 설계 및 측정 프로토콜이며, 실제 모델의 경험적 비교가 아닙니다.

1. 벤치마크 설계 및 태스크 구성

• 범위: 본 프레임워크는 인도의 5가지 필수 시민 영역(의료, 교육, 공공 서비스, 금융, 일반 지식)에 걸친 150개의 실제 행정 태스크를 기반으로 합니다.
• 그라운드 트루스(Ground Truth): 각 태스크는 마스터 태스크 레지스트리(공식 가이드라인, 관보, 부처 회람 및 부서 도메인에서 추출)에 기록된 공공 법적 권위에 근거합니다. 그러나 그라운드 트루스는 독립적으로 인증된 법적 골드 스탠더드가 아니라 프로젝트 저자의 내부 큐레이션을 바탕으로 합니다. 레지스트리는 제도 명칭과 컷오프 날짜를 기록하지만, 직접적인 URL, 축자적 법령 발췌문 또는 조항-사실 정렬 매핑은 포함하지 않습니다. 태스크는 **언어 중립적 개념 사양인 밑바탕 정보 요구(Underlying Information Needs, UINs)**에 의해 인덱싱되며, 이를 통해 영어 중심적 편향을 제거합니다.
• 사실 구조(Fact Structure): 모든 태스크에는 다음이 포함됩니다:
  • 핵심 사실(Critical Facts, CF): 태스크당 3개의 필수 법적 기준(예: 소득 상한선, 마감일).
  • 중요 사실(Important Facts, IF): 태스크당 2개의 필수 절차적 맥락.
  • 안전 제약 사항(Safety Constraints): 금융 착취를 방지하기 위한 태스크당 1개의 명시적 경계.
• UINs는 의사소통 의도와 사실적 범위를 나타내는 언어 중립적인 개념적 명세로서, 영어 중심의 편향을 배제합니다.

2. 실험 구성

프레임워크는 데이터 수집 및 점수 산정을 위한 완전한 팩토리얼 매트릭스를 정의합니다:

• 150개 태스크 × 3가지 언어 조건(정식 영어, 데바나가리 힌디어, 로마자 표기 힝글리시) × 4개 타겟 모델 슬롯(Google, OpenAI, Anthropic, Meta) × 3회 반복.
• 총 셀(Cell) 수: 5,400개의 팩토리얼 셀.
• 현재 상태: 본 논문은 파이프라인 무결성을 검증하기 위해 메모리 내에서 생성된 **결정론적 소프트웨어 픽스처(deterministic software fixture, 합성 베이스라인)**에 대해 보고합니다. 아직 실제 모델 API 쿼리는 실행되지 않았으며, 5,400개의 레코드는 프로그램적 픽스처이지 실제 모델 출력값이 아닙니다.

3. 측정 지표

프레임워크는 5개 차원에 걸쳐 13개의 응답 품질 지표를 구체화합니다:

• 사실적 정밀도(Factual Precision): 클레임 수준의 정밀도(M1) 및 모순 전용 정밀도(M1b).
• 완전성 및 누락(Completeness & Omission): 핵심 사실 커버리지(M2a), 가중 완전성(M2c), 핵심 사실 누락률(M3).
• 사실적 오류(Factual Errors): 중복 제거된 오류 횟수(M4a), 이진 오류 지표(M4b), 정규화된 오류율(M4c).
• 진본성 및 안전성(Authenticity & Safety): 인용 품질 등급(M5), 도메인 안전 수준(M6), UIN 대비 의미론적 보존성(M7).
• 확률적 일관성(Stochastic Consistency): 반복 간 완전성 분산(M8a) 및 핵심 사실 자카드 일치도(M8b).

4. 통계 분석 계획

사전에 지정된 통계 계획은 다음을 활용합니다:

• 일반화 선형 혼합 모델(GLMMs): 비례 결과(M1, M2a, M3에 대한 이항 분포; M4a에 대한 음이항 분포)를 위해 사용.
• 누적 링크 혼합 모델(CLMMs): 서열 척도 등급(M5, M6, M7)을 위해 사용.
• Two-Part 허들 모델(Two-Part Hurdle models): 분산 및 일치도 지표를 위해 사용.
• 다중성 제어(Multiplicity Control): 9개의 가설(3개 엔드포인트 × 3개 언어 대조)에 대한 주요 확인적 가족에 대해 Holm–Bonferroni 단계별 수정(step-down correction)을 통한 가족 전체 오류율 제어.

주요 기여

1. 시민 정보 벤치마크 설계: 단순 번역 코퍼스를 넘어 진정한 현지화된 문제 해결 능력을 테스트하기 위해 언어 중립적 UINs로 인덱싱된 150개의 행정 태스크 큐레이션.
2. 다차원 운영 지표: 표면적인 유창함이 아닌 실질적인 정보 불평등(누락, 환각, 안전 위험)을 구체적으로 겨냥하는 13개 지표의 수학적 명세.
3. 방법론적 거버넌스: 부적절한 이전 합성 평가자 검증 아티팩트(자동 평가자가 인간의 '그라운드 트루스' 역할을 하도록 복제된 경우)를 명시적으로 격리하고, 소프트웨어의 정확성과 경험적 구성 타당성을 명확히 분리함.
4. 재현 가능한 소프트웨어 파이프라인: 5,400개 셀의 팩토리얼 매트릭스에 대해 115개의 통과 단위 및 회귀 테스트를 통과하여 검증된 오픈 소스 Python 스코어링 아키텍처.
5. 코드 스위칭 통합: 힌디어-영어 코드 스위칭(Hinglish)을 정식 영어 및 힌디어와 함께 주요한 제1급 평가 조건으로 취급.

결과 및 검증 상태

본 논문은 어떠한 경험적 모델 비교나 언어적 격차 순위도 보고하지 않음을 명시합니다. 제시된 결과는 엄격하게 프레임워크 자체에 대한 기술적 검증입니다:

• 파이프라인 무결성: 소프트웨어가 팩토리얼 매트릭스 전체에 걸쳐 100% 커버리지를 가지며 5,400개의 합성 레코드를 성공적으로 생성하고 검증함.
• 암호학적 검증: 데이터셋 픽스처 파일은 검증된 SHA-256 해시를 통해 암호학적으로 감사됨.
• 베이스라인 진단: 합성 픽스처는 반복 간 지연 시간과 분산이 0으로 나타났으며, 이는 파이프라인이 데이터를 올바르게 파싱하고 직렬화할 수 있음을 확인시켜 줌.
• 검증 한계: 모든 13개 품질 지표는 실제 이중 언어 인간 주석(human annotation)이 이루어지기 전까지는 경험적으로 검증되지 않은 상태임. 이전의 자동 평가자 검증은 합성 참조를 복제한 것에 의존했음을 발견하여 격리 조치함.

의의 및 주장

본 논문은 LINGUA-AUDIT를 다국어 사회를 위한 알고리즘 거버넌스의 필수적인 인프라로 위치시킵니다. 그 의의는 다음과 같습니다:

• 평가 패러다임의 전환: "표면적 유창함"에서 "실질적 정보 형평성"으로 이동하며, 시민 맥락에서 필수 서류의 누락이나 시대에 뒤떨어진 마감일이 실질적인 행정적 위해가 될 수 있음을 인식함.
• 순환 검증 방지: "순환적 자기 검증" 오류(합성 출력을 인간의 그라운드 트루스로 오인한 경우)를 노출하고 격리함으로써, AI 감사에 있어 방법론적 투명성의 엄격한 기준을 확립함.
• 미래 대비 인프라: 실제 데이터 수집(실제 모델 응답 및 인간 평가자 캘리브레이션)이 완료된 후 프런티어 모델을 감사하는 데 필요한 사전 지정된 측정 도구와 통계적 아키텍처를 제공함.

저자는 LINGUA-AUDIT가 특정 모델이 불평등을 보이는지 여부에 대한 답을 아직 내놓는 것이 아니라, 그러한 불평등을 탐지하고 정량화하는 데 필요한 개방적이고 재현 가능하며 통계적으로 엄격한 프레임워크를 제공한다고 결론짓습니다.