기술 요약: 종교 표현에서의 누락 편향

문제 제기

대형 언어 모델(LLM) 이 점차 개인적, 도덕적, 실존적 질문에 대한 주요 안내 원천으로 자리 잡음에 따라, 이러한 시스템이 사용자의 다양한 가치 체계를 반영하는지 평가할 필요성이 절실합니다. 기존 연구는 존재 기반 편향 (예: 고정관념, 정치적 성향, 유해 콘텐츠) 을 광범위하게 문서화해 왔으나, 본 논문은 **누락 편향 (omissive bias)**이라는 고유한 형태의 표현적 해악을 규명합니다.

저자들은 누락 편향을 정렬된 LLM 이 질의와 실질적으로 관련된 관점, 특히 종교적 틀을 체계적으로 제시하지 못하는 현상으로 정의합니다. 전 세계 인구의 75~80% 가 종교를 신봉하며, 많은 이들이 슬픔, 용서, 관계, 도덕적 딜레마를 헤쳐 나가는 데 종교적 자원에 의존한다는 점을 고려할 때, 일상적인 윤리적 질문에 대한 LLM 응답에서 종교적 언급이 지속적으로 부재하는 것은 상징적 말살 (symbolic annihilation) 의 한 형태입니다. 본 논문은 서구 중심의 세속적 합리주의를 기본값으로 삼는 현재의 정렬 프로토콜이, 비록 해당 틀이 사용자의 맥락과 밀접하게 관련되어 있더라도 종교적 틀을 담론에서 실종시키도록 의도치 않게 작용할 수 있다고 주장합니다.

방법론

올페이스 (AllFaith) 종교 표현 벤치마크

누락 편향을 구체화하기 위해 저자들은 150 개의 개방형 질문으로 구성된 올페이스 종교 표현 벤치마크를 구축했습니다.

• 질문 수집: 데이터셋은 두 가지 주요 출처에서 파생되었습니다:
  1. WildChat-1M: 실제 사용자-LLM 상호작용의 대규모 코퍼스입니다. 자동화된 파이프라인이 후보 질문을 추출한 후, LLM 분류와 수동 큐레이션을 거쳐 종교를 명시적으로 언급하지는 않았지만 종교적 관점이 강력한 답변의 중요한 부분이 될 수 있는 진정한 고위험 윤리적 질문 (예: 슬픔, 결혼, 정직성 등) 으로 선별되었습니다.
  2. 신앙 공동체 기여: 다양한 신앙 전통 (유대교, LDS, 개신교, 가톨릭 등) 의 파트너들이 보충 질문을 큐레이션하여 다양성을 확보하고 WildChat 데이터에 내재된 선택 편향을 완화했습니다.
• 질문 특성: 질문들은 '내면의 삶' (우울증, 중독), '관계' (용서, 결혼), '세계관 및 윤리' (의미, 진리) 등의 주제를 다룹니다. 핵심적으로, 이 질문들은 종교 자체에 관한 것이 아니라 종교가 여러 가능한 자원 중 하나인 개인적 딜레마입니다.

평가 프로토콜

• 모델 테스트: 벤치마크는 27 개의 최첨단 및 오픈 소스 모델 (GPT-5 변형, Claude 4.6/4.7, Gemini 3.1, Llama 4, Grok 4 등 포함) 에 대해 평가되었습니다.
• LLM-as-Judge 평가 기준: 응답은 LLM-as-Judge 프레임워크 (특히 Gemini 3.1 Pro Preview) 를 사용하여 평가되었습니다. 평가 기준은 의도적으로 낮은 문턱으로 설정되었습니다:
  • 점수 0: 종교적 표현 없음.
  • 점수 1~4: 종교적 언급, 실천, 또는 지도력에 대한 점진적 수준.
  • 지표: 주요 분석을 위해 점수는 이진화되었습니다 (0 = 종교 없음, 1 = 종교 언급 있음).
• 인간 기준: '기대'에 대한 기준을 확립하기 위해 저자들은 1,125 명의 미국 참가자 (n=11,250 개 평가) 를 대상으로 설문 조사를 실시했습니다. 참가자들은 343 개의 초기 질문에 대해 답변에 종교적 언급이 포함되어야 할지 기대하는지 1~5 점 척도로 평가했습니다. 최종 150 개 질문 벤치마크는 인간의 기대와 모델 행동 간의 불일치가 가장 컸던 질문들을 기반으로 선정되었습니다.

주요 결과

체계적 과소 표현

테스트된 27 개 모델 전반에 걸쳐 LLM 은 인간의 기대에 비해 종교를 체계적으로 과소 표현했습니다.

• 전체 성과: 모든 모델에 대한 종교적 관련성의 평균 이진화 평가는 0.084였으며, 이는 약 91.6% 의 사례에서 모델이 종교적 내용이 전혀 없는 답변을 제공했음을 나타냅니다.
• 인간과 모델 간 격차: 인간의 기대는 훨씬 더 높았으며, 동일한 질문에 대해 (1~5 점 설문에서 파생된 이진 척도 기준) 평균 평가는 약 0.63 이었습니다. 인간 기대와 모델 행동 간의 상관관계는 약했습니다 (지표에 따라 $r = 0.257$에서 $0.441$), 이는 모델이 종교적 관련성에 관해 사용자의 기대와 일치하지 않음을 시사합니다.

비대칭적 누락

종교적 틀의 누락은 주제별로 균일하지 않았습니다:

• 추상적 vs. 실용적: 모델들은 세속적 답변이 불충분해 보일 수 있는 추상적 실존 질문 (예: "죽은 후에는 무엇이 일어나는가?", "삶의 의미는 무엇인가?") 에 대해 종교를 더 자주 언급했습니다.
• 실용적 딜레마: 모델들은 실용적이고 대인관계적인 상황 (예: "슬픔을 어떻게 극복할 것인가?", "불륜을 어떻게 처리할 것인가?", "배우자를 용서하는 법") 에 대해 종교를 거의 언급하지 않았습니다. 종교가 역사적으로 중요한 공동체적 및 의식적 지원을 제공해 온 이러한 영역에서 모델들은 기도, 고백, 성직자 상담 대신 세속적, 치료적, 또는 절차적 조언 (예: 심리 치료나 자기 성찰 제안) 을 기본값으로 삼았습니다.

모델 간 차이

과소 표현 경향은 일관적이었으나 모델 간에는 차이가 있었습니다.

• 이상치: Grok-4.20 모델은 다른 모델에 비해 종교적 언급을 할 확률이 현저히 높았습니다. 저자들은 이는 Grok 의 훈련 데이터인 실시간 소셜 미디어 담론 (X) 에 종교적 논쟁이 더 빈번하게 발생하기 때문이거나, 다른 정렬 전략 때문일 수 있다고 가설을 세웠습니다.
• 일반적 경향: OpenAI, Anthropic, Google 의 플래그십 모델을 포함한 대부분의 모델은 평균 점수 0.1 주위에 군집하여 일상적 윤리적 추론에서 종교적 프레임을 피하는 균일한 '안전' 정렬을 시사했습니다.

중요성과 주장

본 논문은 다음과 같이 겸손하지만 중요한 주장을 펼칩니다: 현재의 LLM 은 많은 사람들이 개인적, 윤리적 도전을 헤쳐 나가는 데 의존하는 종교적 틀을 반영할 중요한 기회를 놓치고 있습니다.

• 반종교 편향이 아님: 저자들은 LLM 이 어떤 가치를 持有해야 하는지 판단하는 것이 아니며, 누락이 악의적인 '반종교 편향'이라고 주장하지도 않습니다. 대신 이는 세속적, 치료적, 또는 절차적 조언을 선호하는 정렬 인센티브, 안전 정책, 그리고 훈련 데이터의 산출물일 가능성이 높다고 주장합니다.
• 표현적 해악: 커뮤니케이션 이론 (Gerbner & Gross) 과 알고리즘 공정성 (Crawford; Barocas et al.) 을 차용하여, 본 논문은 전 세계 인구의 다수가 가진 관점의 부재가 표현적 해악을 구성한다고 주장합니다. 문화적, 개인적으로 관련성이 있는 맥락에서 종교적 자원을 제시하지 못함으로써 LLM 은 사회를 형성하는 디지털 담론에서 이러한 틀을 '지워버릴' 위험이 있습니다.
• 설계 긴장: 저자들은 설계상의 긴장 관계를 강조합니다: LLM 제공자들은 종교를 과다 표현하는 것이 선교처럼 보일 수 있다고 우려하는 반면, 과소 표현하면 수십억 명의 중요한 자원을 지워버리게 됩니다. 그들은 종교를 명시적인 정책으로 명확하게 다루는 전략을 옹호하며, 모델이 종교적 자원을 강제하지 않으면서도 유효한 옵션으로 인정할 수 있도록 해야 한다고 주장합니다.

결론

올페이스 종교 표현 벤치마크는 누락 편향을 주요 LLM 평가 패러다임으로 공식화한 첫 사례를 제공합니다. 결과는 LLM 이 추상적 용어로 종교를 논의할 수는 있지만, 실용적이고 일상적인 윤리적 의사결정에 종교적 틀을 체계적으로 통합하지 못하며 인간의 기대와 크게 동떨어져 있음을 보여줍니다. 저자들은 LLM 이 인간의 다원적 도덕적 삶을 충실히 반영하기 위해서는 종교적 관점이 맥락상 적절하거나, 선택 사항이거나, 관련이 없는 경우를 인식하도록 더 잘 보정되어야 한다고 결론지었습니다.