기술 요약: TREETRACER – 확률적 경로 집계를 통한 암묵적 편향의 노출

문제 정의

대규모 언어 모델(LLM)은 결정론적인 단일 출력이 아닌, 가능한 다음 토큰에 대한 확률 분포를 생성하는 확률적 과정을 통해 텍스트를 생성합니다. 현재의 편향 감사 방법은 이러한 맥락에서 심각한 한계에 직면해 있습니다:

• 단일 출력의 불충분성: 표준적인 접근 방식은 종종 단일 생성 시퀀스나 정적인 자동화 지표(예: perplexity, BLEU)를 검사하는 데 의존합니다. 이러한 방법은 기저의 확률 분포를 가리고, 낮은 확률의 생성 분기(branch)에 숨겨진 편향을 포착하지 못합니다.
• 정적 템플릿의 한계: 기초적인 편향 데이터셋은 경직되고 사전 정의된 문장 템플릿을 사용하는 경우가 많습니다. 연구에 따르면 이러한 방식은 실제 세계의 맥락과 구문적 변이를 포착하는 데 실패하며, 진정한 의미적 연관성을 드러내기보다는 기본 구문 동작을 유도하는 경향이 있습니다.
• 시각화의 확장성: 텍스트 생성에 대한 기존의 시각적 분석 도구(예: Beam Search Trees)는 수백 개의 복잡한 확률적 생성 경로를 구조적 세부 사항이나 인지적 명확성을 잃지 않으면서 응축되고 읽기 쉬운 뷰로 요약하는 데 어려움을 겪습니다.

핵심 과제는 다양한 테스트 케이스의 생성과 의미론적 분류를 자동화하는 동시에, 인간 평가자가 집계된 확률 분포를 시각적으로 분석하여 체계적인 표현적 위해(representational harms)를 탐지할 수 있는 방법을 개발하는 것입니다.

방법론: TREETRACER 파이프라인

본 논문은 비교 집계를 통해 LLM의 편향을 평가하기 위해 설계된 시각적 분석 접근 방식인 TREETRACER를 소개합니다. 이 시스템은 다음과 같은 6단계의 체계적인 섭동(perturbation) 파이프라인을 채택합니다:

1. 프롬프트 증강 및 온톨로지 주입 (Prompt Augmentation and Ontology Injection):

   • 시스템은 대상 토큰을 의미론적 온톨로지(예: "남성 이름" vs "여성 이름")에서 추출한 대체어로 교체함으로써 베이스 프롬프트의 의미 변수를 격리합니다.
   • 온톨로는 ConceptNet(BFS 쿼리) 또는 지시어 튜닝된 LLM을 통해 생성됩니다.
   • Human-in-the-Loop 메커니즘을 통해 사용자는 순환적 모호성을 방지하고 분석 매개변수에 대한 인간의 통제를 보장하기 위해 온톨로지를 편집, 제거 또는 생성할 수 있습니다.

2. 텍스트 생성 및 토큰 정렬 (Text Generation and Token Alignment):

   • 시스템은 로컬 추론 또는 외부 API를 사용하여 증강된 모든 프롬프트에 대해 텍스트 생성을 실행합니다.
   • 생성된 텍스트, 토큰 수준의 확률 및 메타데이터를 기록합니다.
   • 서브워드 토큰 병합 (Subword Token Merging): 서브워드 토크나이저(예: BPE)를 처리하기 위해, 파이프라인은 서브워드 토큰을 전체 단어로 병합하고, 긴 단어에 의해 불이익을 받지 않도록 그 확률의 기하 평균을 계산합니다.

3. 구절 파싱 (Constituency Parsing):

   • 생성된 출력은 통합된 문법적 표현을 만들기 위해 Stanza NLP 라이브러리를 사용하여 구절 트리(constituency trees)로 파싱됩니다.
   • 정렬 알고리즘은 파서의 품사(POS) 태그를 원래의 공백 기반 토큰에 매핑하여 토큰화 불일치를 해결합니다.

4. 구조적 클러스터링 (Structural Clustering):

   • 시각적 혼란을 해결하기 위해, 시스템은 트리에 어휘적 내용을 제거하여 "스켈레톤 문자열(skeleton strings, 구조적 태그만 포함)"을 생성합니다.
   • 이 스켈레톤들은 Tree Edit Distance(TED) 또는 휴리스틱(Levenshtein, N-gram Jaccard)을 사용하는 응집형 클러스터링(agglomerative clustering)을 통해 클러스터링됩니다.
   • 시스템은 시각적 명확성을 유지하기 위해 가장 빈번한 상위-$k$개의 문법 구조를 시각적 중추(backbone)로 유지하며, 낮은 빈도의 이상치(outlier)는 폐기합니다. 모든 문장의 전체 집합은 글로벌 확률 계산을 위해 별도로 유지됩니다.

5. 의미론적 분류 (Semantic Classification):

   • 정적 사전 대신, 시스템은 LLM 지원 문맥적 분류 방법을 사용합니다. 헬퍼 LLM은 다의성을 처리하기 위해 전체 문장 문맥 내의 필터링된 키워드(명사, 형용사, 고유 명사)를 분류합니다.
   • RAG 기반 사용자 오버라이드: 사용자는 프런트엔드에서 오분류를 수동으로 수정할 수 있습니다. 이러한 수정 사항은 저장되어 이후 실행 시 헬퍼 LLM의 프롬프트에 주입되며, 이를 통해 결정론적이고 인간에 의해 검증된 분류를 보장합니다.

6. 트리 구축 및 확률 지표 (Tree Construction and Probability Metrics):

   • 노드는 다의어 문제를 방지하기 위해 (토큰 텍스트, 의미 범주)의 복합 키를 사용하여 병합됩니다.
   • 시각화를 위해 두 가지 별도의 확률 지표를 계산합니다:
     • 선택된 확률 ($P_{selected}$): 구조적으로 유지된 문장들에 대한 평균 토큰 신뢰도를 나타냅니다 (링크 너비로 시각화).
     • 글로벌 확률 ($P_{global}$): 모든 생성된 발생 건수에 대한 토큰 확률의 합을 선택된 서브셋의 개수로 정규화한 값입니다. 이를 통해 클러스터링에 의해 제거된 전체 풀(pool)에서 빈번하게 등장하는 토큰이 시각적으로 두드러지게 유지되도록 합니다 (노드 높이로 시각화).

주요 기여

1. 시각적 분석 인터페이스 (Sankey 변형)

TREETRACER는 집계된 확률 트리를 시각화하기 위해 산키(Sankey) 다이어그램의 새로운 변형을 활용합니다. 이는 편향 감사의 요구를 충족하기 위해 엄격한 흐름 보존 규칙을 해제합니다:

• 노드 높이: 모든 샘플에 걸친 토큰 경로의 척도화된 확률 질량($P_{global}$)을 인코딩합니다.
• 링크 너비: 선택된 구조적 서브셋에 국한된 모델의 국소적 확신도($P_{selected}$)를 시사합니다.
  이러한 이중 인코딩은 폐기된 구문적 변이 속에 숨겨진 강력한 편향이 여전히 가시성을 유지하도록 보장합니다.

2. 비교 및 대조 추론 모드

• 병치 (Juxtaposition): 두 개의 온톨로지 기반 트리를 나란히 배치하여 구조적 발산(divergence)을 직접 비교할 수 있습니다.
• 중첩 (Superposition): 수직적 크로스 트리 병합 알고리즘을 사용하여 서로 다른 온톨로지의 트리를 정렬하고, 이중 기원 통계(dual-origin statistics)를 보존하는 대화형 병합 뷰를 제공합니다.
• 대조 추론 (Contrastive Inference): 디코딩 알고리즘이 낮은 확률의 토큰을 탈락시키는 "통계적 사각지대" 문제를 해결하기 위해, 시스템은 역사실적 추론(counterfactual inference)을 수행합니다. 시스템은 원래 조건(Ontology A와 B) 하에서 특정 토큰에 대한 원시 확률을 강제로 계산하도록 모델에 명령하며, 대조 분할 비율($R_{split}$)을 엣지 내의 분할 빔(split beams)으로 시각화합니다.

3. 시스템 검증

시스템은 정렬되지 않은 베이스라인(GPT-2 XL)과 헌법적으로 정렬된 Apertus 모델을 비교하는 다섯 가지 사례 연구를 통해 검증되었습니다:

• 성별 편향: 직업적 연관성에 숨겨진 편향(예: 여성 이름은 돌봄 역할과, 남성 이름은 경영직과 연결됨) 및 역사실적 대명사 억제 현상을 드러냈습니다.
• 독성 (Toxicity): 아랍 지역 명칭이 "정치 및 종교적 극단주의" 클러스터와 연결되는 반면, 서구적 명칭은 긍정적인 특성과 연결되는 역사적 훈련 편향을 폭로했습니다.
• 페르소나 역할 수행: 역할 수행 제약이 어떻게 성별 고정관념을 활성화하는지 입증했습니다 (예: 여성 CEO는 감정 노동을 통해 묘사되는 반면, 남성 CEO는 지능을 통해 묘사됨).
• 의료 허위 정보: 정렬된 모델(Apertus)은 위험한 물질에 대해 단호한 거부 노드로 구조적으로 붕괴되는 반면, 정렬되지 않은 모델(GPT-2)은 일관적이지만 해로운 지침을 생성함을 보여주었습니다.
• 구문적 편향: 정렬되지 않은 모델이 음식 항목에 대해 지리적 템플릿을 엄격하게 적용하는 반면, 정렬된 모델은 의미론적으로 적응하는 "구문-도메인 가짜 상관관계(syntactic-domain spurious correlations)"를 강조했습니다.

4. 사용자 연구

7명의 컴퓨터 과학 전공 학생을 대상으로 한 예비 사용자 연구 결과, 집계된 비교 인터페이스가 다음을 확인했습니다:

• 표준 빔 탐색 도구(예: generAItor)에 비해 인지 부하를 줄임.
• 분석가가 체계적 편향을 탐지하는 것을 효과적으로 지원함.
• 높은 사용성을 나타내는 시스템 사용성 척도(SUS) 점수 76.9를 달림.

의의 및 주장

본 논문은 TREETRACER가 확률적 텍스트 생성과 엄격한 편향 감사 간의 간극을 메운다고 주장합니다. 주요 의의는 분석의 초점을 고립된 단일 인스턴스 검사에서 집계되고 분류를 고려한 비교로 전환하는 데 있습니다.

저자들은 다음과 같이 단언합니다:

1. 숨겨진 편향의 노출: 편향은 종종 표준적인 top-k 또는 빔 탐색 검사가 놓치는 낮은 확률의 분기와 구문적 변이에 존재합니다. TREETRACER는 이러한 "숨겨진 연관성"을 명시적으로 만듭니다.
2. 통제 변수로서의 온톨로지: 온톨로지를 통제된 독립 변수로 취급함으로써, 시스템은 의미적 효과를 구문적 템플릿으로부터 분리하여 정적 템플릿보다 더 강력한 표현적 위해 평가 도구를 제공합니다.
3. 역사실적 엄밀성: 대조 추론의 포함은 특정 토큰의 역사실적 확률을 계산함으로써 편향의 존재를 오해할 위험을 줄이며, 최종 출력에 특정 단어가 나타나지 않는다고 해서 그 기저의 확률이 가려지지 않도록 보장합니다.

결론적으로, 시각적 집계, 분류 인식 병합, 그리고 대조 추론을 결합하는 것은 향-AI 안전 및 정렬 연구를 위한 확장 가능한 기초를 제공하며, 상위 랭크 출력에는 존재하지 않더라도 체계적인 표현적 위해를 탐지할 수 있게 합니다.