🤖 AI

BiasTrace: Linking Reasoning Behaviours to Biased Outputs in LLMs

이 논문은 특정 추론 행동을 편향된 LLM 출력과 연결하는 어노테이션 체계인 BiasTrace를 소개하며, 편향을 유발하는 것이 명시적인 언어가 아니라 미묘한 추론 패턴임을 밝힘으로써 개선된 탐지 및 추론 시점의 완화를 가능하게 한다.

원저자: Varsha Ramineni, Hossein A. Rahmani, Jerome Ramos, Karin Sevegnani, Emine Yilmaz

게시일 2026-08-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Varsha Ramineni, Hossein A. Rahmani, Jerome Ramos, Karin Sevegnani, Emine Yilmaz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 왜 아주 똑똑한 로봇 친구가 계속해서 불공정하거나 어리석은 실수를 하는지 그 이유를 알아내려고 노력하고 있다고 상상해 보세요. 인공지능의 세계에서 이 로봇들은 '대규모 언어 모델(LLM)'이라고 불립니다. 이들은 이야기를 쓰거나, 수학 문제를 풀거나, 당신과 대화를 나눌 수 있는 디지털 백과사전 같지만, 때때로 읽었던 책이나 웹사이트로부터 나쁜 습관을 배우기도 합니다. 이러한 나쁜 습관을 '편향(bias)'이라고 부릅니다. 예를 들어, 특정 유형의 사람들만이 특정 직업에 적합하다고 생각하거나, 사람의 외형을 바탕으로 무언가를 단정 짓는 것과 같습니다.

오랫동안 과학자들은 로봇의 최종 답변을 확인하여 이를 고치려고 노력해 왔습니다. 만약 로봇이 못되거나 틀린 말을 한다면, 다시는 그렇게 하지 않도록 가르치는 식입니다. 하지만 이것은 마치 팀이 왜 경기에서 졌는지 이해하기 위해 오직 축구 경기의 최종 점수만 확인하는 것과 같습니다. 당신은 그 과정에서 일어난 흥미로운 플레이들, 잘못된 패스들, 그리고 혼란스러웠던 순간들을 놓치게 됩니다. 최근, 이 로봇들은 '생각하며 말하기'라는 새로운 초능력을 갖게 되었습니다. 이들은 결론을 내리기 전에 단계별 계획인 '추론 흔적(reasoning trace)'을 작성합니다. 이 논문은 바로 이 사고 과정을 관찰하여 로봇이 실제로 어디에서 잘못되는지를 살펴보는 것에 관한 것입니다.

이 연구를 진행한 연구진인 바르샤 라미네니(Varsha Ramineni)와 그녀의 팀은 단순히 최종 답변을 보는 것을 넘어, 로봇의 '사고 과정'을 조사하기로 했습니다. 그들은 BIASTRACE라는 새로운 도구를 만들었습니다. BIASTRACE를 로봇이 생각하는 동안 보이는 보이지 않는 습관을 볼 수 있게 해주는 특별한 안경이라고 생각해 보세요. 단순히 "답이 틀렸는가?"라고 묻는 대신, 그들은 "로봇이 머릿속에서 무엇을 하고 있었기에 잘못된 결과에 도달했는가?"라고 물었습니다.

그들은 놀라운 사실을 발견했습니다. 그들은 로봇이 생각하는 과정에서 '나쁜 단어'를 사용하거나 명시적으로 고정관념을 언급하기 때문에 편향된 실수를 할 것이라고 예상했습니다. 하지만 데이터는 그것이 주범이 아니라고 보여주었습니다. 대신, 가장 큰 예측 변수는 그들이 **'과도한 생각(overthinking)'**이라고 부르는 것이었습니다.

로봇이 수수께 수를 풀려고 노력하는 모습을 상상해 보세요. 만약 로봇이 막히게 되면, 스스로를 의심하고, 왔다 갔다 하며, 모든 단계에 대해 재차 확인하며 갈팡질팡할 수 있습니다. "아마 답이 A일까? 아니, 잠깐, B일 수도 있나? 하지만 만약 C라면 어떡하지?" 연구진은 로봇이 이러한 과도한 의심과 혼란의 루프에 빠질 때, 증거가 뒷받-지 않더라도 결정을 내리기 위해 고정관념에 매달릴 가능성이 훨씬 높다는 것을 발견했습니다. 이는 마치 어떤 사람이 올바른 선택을 해야 한다는 압박감에 너무 긴장한 나머지, 생각을 멈추기 위해 실수로 잘못된 것을 골라버리는 것과 같습니다.

팀은 이 실험을 부유한 동네와 가난한 동네 중 어디에 마약 문제가 더 많은지와 같은 사회적 이슈에 관한 수천 개의 질문에 대해 테스트했습니다. 그들은 로봇(Qwen이나 GPT 등)이 이러한 질문들을 어떻게 생각하며 풀어가는지 지켜보았습니다. 그들은 로봇이 나쁜 말을 사용하지 않더라도, 혼란스러워하고 상황을 과도하게 생각함으로써 편향된 결론에 도달할 수 있다는 것을 발견했습니다. 실제로, 로봇에게 "편향을 주의하라"고 지시했을 때, 로봇들은 때때로 더 혼란스러워하고 문제를 더 과도하게 생각하게 되었으며, 이는 역설적으로 편향을 악화시키는 결과를 초라했습니다.

그렇다면 이 발견을 가지고 그들은 무엇을 했을까요? 그들은 이 새로운 '안경'(BIASTRACE)을 사용하여 이러한 실수를 잡아내는 더 나은 방법을 구축했습니다. 로봇 판사에게 단순히 "이 답변이 공정한가?"라고 묻는 대신, "로봇이 과도하게 생각하고 있는가?" 또는 "이야기에 없는 사실을 지어내고 있는가?"와 같은 구체적인 사고 습관을 찾아내라고 요청했습니다. 이 새로운 방법은 위험한 답변이 발생하기 전에 이를 포착하는 데 훨씬 더 효과적이었습니다.

마지막으로, 그들은 이를 실시간으로 해결하는 데 사용했습니다. 로봇이 8개의 서로 다른 답변을 생성하도록 설정하고, 조력자가 각 답변의 사고 과정을 검사하게 했습니다. 만약 조력자가 로봇이 '과도하게 생각하고' 있거나 잘못된 가정을 하고 있는 것을 발견하면, 그 답변은 버려집니다. 그런 다음 로봇은 남은 '깨끗한' 생각들 중에서 가장 좋은 답변을 선택합니다. 이 간단한 기술은 로봇을 더 똑똑하고 공정하게 만들었으며, 질문에 답하는 능력을 저하시키지 않으면서도 편향된 실수를 크게 줄였습니다.

핵심적인 교훈은, AI의 편향은 항상 로봇이 못된 말을 하는 것과 관련이 있는 것이 아니라, 종종 로봇이 확신을 얻기 위해 혼란스러워하고 과도하게 생각하다가 고정관념에 매달리는 것과 관련이 있다는 점입니다. 로봇이 무엇을 말하는지가 아니라 어떻게 생각하는지를 관찰함으로써, 우리는 이러한 오류를 잡아내고 AI를 모두에게 조금 더 공정하게 만들 수 있는 더 나은 도구를 만들 수 있습니다.

기술 요약: BIASTRACE – LLM의 편향된 출력과 추론 행동 간의 연결

문제 정의

대규모 언어 모델(LLM)은 사회적 편향을 나타내어 부정확하고 차별적인 추론을 초래할 수 있으며, 이는 의료, 고용, 형사 사법과 같은 고위험 영역에서 상당한 위험을 야기한다. 기존 연구들이 모델의 편향을 측정하고 완화하는 데 진전을 이루었으나, 주로 모델의 **최종 출력(final outputs)**에 집중되어 있다. 이러한 접근 방식은 근본적인 격차를 드러낸다. 즉, 편향된 결과를 생성하는 내부 메커니즘에 대한 이해를 제한적으로 제공한다는 점이다. 기존 방법들은 모델이 명시적으로 편향된 언어를 사용하지 않도록 훈련하지만, 편향은 종종 다른 경로를 통해 암묵적으로 나타난다. 또한, 현재의 추론 능력 평가는 최종 답변의 정답 여부나 명시적인 편향 언어 탐지에 치중되어 있어, 최종 언어가 중립적으로 보이더라도 차별적인 결론을 도출할 수 있는 미묘한 추론 행동들을 간과하고 있다.

방법론

1. BIASTRACE 주석 체계 (Annotation Scheme)

저자들은 모델이 생성한 추론 흔적(traces) 내의 특정 추론 행동을 라벨링하고 이를 편향된 결과와 연결하기 위해 설계된 세밀한 주석 체계인 BIASTRACE를 도입한다. 모델의 추론 흔적에 대한 반복적인 검사와 인지 과학 문헌(예: Kunda, 1990; Kahneman, 2011)을 바탕으로 개발된 이 체계는 행동을 네 가지 그룹으로 분류한다:

편향 관련 행동 (Bias-Specific Behaviors):
- 집단 가정 (Group Assumption): 맥락적 근거 없이 특정 인구 통계적 집단에 특성이나 가능성을 부여함.
- 편향 인정 (Bias Acknowledgement): 사고 과정 내에서 편향이나 고정관념의 가능성을 명시적으로 인식함.
메타 인지 행동 (Meta-Cognitive Behaviors):
- 메타 성찰 (Meta Reflection): 과업의 의도, 범위 또는 프레임워크를 의심함 (예: "함정" 질문이라고 의심함).
맥락 외 지식 (Out-of-Context Knowledge):
- 외부 인구 통계 지식 (Outside Demographic Knowledge): 문맥에 존재하지 않는 사회적 집단에 대한 외부 지식을 활용함.
- 외부 주제 지식 (Outside Topical Knowledge): 문맥에 존재하지 않는 특정 주제에 대한 외부 지식을 활용함.
불확실성 하의 추론 (Reasoning Under Uncertainty):
- 과잉 사고 (Overthinking): 과도한 의구심, 복잡성, 또는 동일한 선택지를 반복해서 재검토하는 행위 (3회 이상).

2. 데이터 생성 및 주석 작업

데이터셋: 본 연구는 9가지 인구 통계 범주(예: 인종, 성별, 사회경제적 지위)에 걸쳐 논리적으로 구조화된 다중 선택형 질문을 포함하는 BBQ (Bias Benchmark for QA) 데이터셋을 활용한다. 질문은 모호한(ambiguous) 맥락과 명확한(disambiguated) 맥락 모두를 포함한다.
모델: 다양한 프롬프트 조건(단순 vs. 가이드형) 및 추론 노력 수준 하에서 Qwen3-8B, Qwen3-14B, GPT-OSS-120B의 추론 흔적을 생성하였다.
규모: 총 250,976개의 주석 처리된 추론 흔적이 생성되었다.
주석 전략: 주석 작업의 규모를 키우기 위해 저자들은 LLM-as-a-Judge 방식을 채택하였다. 판사 모델(DeepSeek-V3.2)은 인간의 주석과 비교 검증되었으며, Overthinking 및 Group Assumption과 같은 주요 라벨에서 높은 일치도(Cohen's $\kappa$ = 0.64–0.84)를 달성하였다. 일치도가 낮은 라벨은 신뢰성을 보장하기 위해 제외되었다.

3. 실험 설계

본 연구는 두 가지 주요 연구 질문(RQ)을 다룬다:

RQ1: 명시적인 편향 언어 이외의 추론 행동이 편향된 출력에 기여하는가, 그리고 어떤 행동이 가장 예측력이 높은가?
- 방법: 주석 처리된 추론 흔적에 대해 로지스틱 회귀 분석을 수행하여 편향된 결과(고정관념과 일치하는 오답으로 정의됨)의 예측 요인을 식별하였다.
RQ2: 추론 행동을 활용하여 편향된 결과로 이어지는 흔적을 더 신뢰성 있게 식별할 수 있는가?
- 방법: BIASTRACE 행동을 포함하는 새로운 평가 프롬프트를 설계하고, 이를 베이스라인 방법들(0–5 서수 척도, 이진 0/1 라벨, 그리고 공정성 보상 모델)과 피어슨 상관계수를 사용하여 비교하였다.
완화 (Mitigation): 저자들은 BIASTRACE 프로프트를 통해 편향된 것으로 분류된 추론 흔적을 다수결 투표(majority voting) 적용 전에 필터링하는 추론 시점 완화 전략을 테스트하였다.

주요 결과

1. 추론 행동의 예측력 (RQ1)

과잉 사고(Overthinking)가 가장 강력한 예측 변수: 명시적인 편향 언어가 주요 동인이라는 가정과 달리, Overthinking이 편향된 출력을 예측하는 가장 강력한 변수인 것으로 나타났다 (모호한 맥락에서 Odds Ratio = 2.34). 이 효과는 가이드형 프롬프트 하에서 증폭되었다.
암묵적 vs. 명시적: 집단 가정 (Group Assumption) (명시적 편향)은 전체 모델에서 유의미한 예측 변수가 아니었으나, 모호한 맥락에서는 유의미한 예측 변수였다 (Odds Ratio = 4.88, p < .001). 이는 모호한 설정에서 명시되지 않은 집단 속성을 추론하는 것이 편향된 출력의 핵심 경로임을 나타내며, 이는 해당 행동이 모든 맥락에서 편향을 유발하지 않더라도 그렇다. *외부 인구 통계 지식 (Outside Demographic Knowledge)*은 맥락에 관계없이 편향의 확률을 유의미하게 높였다.
복합적 상호작용: 편향된 결과는 특정 행동들의 조합에서 집중적으로 나타났다. 예를 들어, Overthinking, Group Assumption, Outside Demographic Knowledge의 조합은 편향률이 0.30에 달했으며, 이는 베이스라인 대비 40배 이상의 상승(lift)을 보였다.

2. 개선된 편향 평가 (RQ2)

우수한 상관관계: BIASTRACE 기반 평가 프롬프트는 베이스라인 방법들( $r = 0.01$ ~ $0.19 $)에 비해 편향된 결과와 현저히 높은 상관관계($ r = 0.08 $~$ 0.41$)를 보였다.
일반화 가능성: 이러한 결과는 주석 체계 학습에 참여하지 않은 모델(예: GPT-OSS-120B)에도 일반화되었다.
다운스트림 적용: COMPAS 재범률 벤치마크에서 BIASTRACE 프롬프트는 샘플당 공정성 기여도를 식별하는 데 있어 베이스라인보다 뛰어난 성능을 보이며 가장 높은 상관관계( $r = 0.38$ )를 나타냈다.

3. 추론 시점 완화 (Inference-Time Mitigation)

필터링 효과: BIASTRACE 프롬프트에 의해 "편향되지 않음"으로 분류된 흔적들에 대해서만 다수결 투표를 적용하는 방식(Maj-BIASTRACE)은 모든 샘플을 사용하거나 단일 샘플을 사용하는 방식에 비해 여러 모델 제품군(Qwen3 및 Llama-3)에서 정확도와 편향률을 모두 개선하였다.
정량적 이득: Llama-3-8B-Instruct의 경우, 편향률은 13.36% (Single) 및 12.36% (Maj-All)에서 **7.36% (Maj-BIASTRACE)**로 감소한 반면, 정확도는 77.27%로 증가하였다.

의의 및 주장

본 논문은 LLM의 편향을 명시적인 편향 언어나 최종 출력만을 조사함으로써 완전히 이해할 수 없다고 주장한다. 대신, 편향은 종종 미묘한 추론 과정, 특히 과잉 사고(overthinking)나 외부 지식의 오용과 같은 행동으로부터 발생한다.

독창성: BIASTRACE는 단순한 편향 라벨을 넘어 인지 과학 개념과 연결된 구체적인 행동으로 추론을 분해함으로써, 편향을 조사하는 새로운 관점을 제공한다.
실용적 유용성: 본 연구는 추론 수준의 주석이 편향 탐지를 개선하며, 정확도를 저해하지 않으면서 편향된 출력을 줄이기 위한 효과적인 추론 시점 개입책으로 운용될 수 있음을 입증한다.
향후 방향: 저자들은 이러한 추론 패턴을 이해하는 것이 더 강력한 편향 탐지와 더 공정한 모델 행동을 개발하는 데 필수적이라고 제안한다. 또한 추론 인식 훈련 목표(reasoning-aware training objectives)를 통합하고, 어떤 추론-편향 관계가 서로 다른 모델과 언어 간에 일반화되는지 확립하는 후속 연구를 제안한다.

저자들은 자신들의 분석이 관찰 가능한 행동을 연구하는 것이며, Chain-of-Thought (CoT) 흔적이 모델의 내부 계산을 충실히 대변한다는 것을 주장하는 것은 아니라는 점을 명시하며 신중한 입장을 유지한다. 또한 모델의 범위(오픈 소스, 영어 전용)와 BBQ 데이터셋의 구조적 특성에 따른 한계점도 언급하였다.