💬 NLP

Beyond Third-Person Audits: Situated Interaction Auditing for User-Centered LLM Bias Research

본 논문은 기존의 제3자 관점 감사(third-person audits)의 한계를 해결하기 위해, 사용자의 성별 및 사회경제적 지위와 같은 사용자 프로필 신호에 따라 거대언어모델(LLM)이 개인적 상호작용 중에 어떻게 체계적으로 응답을 변화시키는지 조사하는 사용자 중심 프레임워크인 상황적 상호작용 감사(Situated Interaction Auditing, SIA)를 제안한다.

원저자: Andrés Abeliuk, Cinthia Sanchez Macias, Valentina Alarcón, Álvaro Madariaga, Claudia Lopez

게시일 2026-06-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andrés Abeliuk, Cinthia Sanchez Macias, Valentina Alarcón, Álvaro Madariaga, Claudia Lopez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 똑똑하고 박학다식한 도서관에 들어선 모습을 상상해 보세요. 그곳에는 당신의 어떤 질문에도 도움을 줄 수 있는 단 한 명의 사서(AI)가 있습니다.

수년 동안 연구자들은 이 사서에게 다른 사람에 관한 이야기를 써달라고 요청하며 테스트를 해왔습니다. 예를 들어, "켈리라는 이름의 간호사에 대해 이야기를 써줘"라고 했다가, 그다음에는 "조셉이라는 이름의 간호사에 대해 써줘"라고 요청하는 식입니다. 그들은 사서가 켈리를 "따뜻하고 친절하다"고 묘사하면서도, 조셉은 "타고난 리더"라고 묘사하는지 확인했습니다. 이것은 사서가 낯선 사람에 대해 이야기할 때 편향되어 있는지 확인하는 작업입니다.

문제점: 눈앞에 서 있는 사람을 놓치는 사서
이 논문은 이러한 방식의 테스트가 전체 그림의 아주 큰 부분을 놓치고 있다고 주장합니다. 현실 세계에서 당신은 단순히 사서에게 낯선 사람에 대해 써달라고 하는 것이 아니라, 당신을 도와달라고 요청하기 때문입니다.

저자들은 당신이 조언을 구할 때, 사서가 단순히 당신의 질문만 보는 것이 아니라 당신이 누구인지를 본다고 말합니다. 사서는 당신의 이름, 말투, 혹은 억양을 바탕으로 당신의 배경, 사회적 지위, 성별 등을 추측할 수 있습니다.

이 논문은 기존의 테스트 방식을 "제3자 감사(Third-Person Audits)"(AI가 타인을 어떻게 묘사하는지 판단하는 것)라고 부르며, 새로운 방식인 **상황적 상호작용 감사(Situated Interaction Auditing, SIA)**를 제안합니다. 이는 도서관 사서가 당신을 구체적으로 어떻게 대하는지를 기준으로 사서를 판단하는 것과 같습니다.

새로운 실험: "이름 게임"
이를 증명하기 위해 연구진은 칠레에서 테스트를 진행했습니다. 그들은 AI에게 던지는 질문 자체는 바꾸지 않았습니다. 질문은 항상 동일하게 유지했습니다. 예: "어떻게 하면 연봉 협상을 잘 할 수 있을까요?" 또는 "이 컴퓨터 오류를 어떻게 해결하나요?"

하지만, 답변을 하기 전 AI가 인지하는 "이름표"를 바꾸었습니다.

그룹 A: 칠레에서 부유하고 엘리트 가문과 연관된, 높은 사회적 지위를 나타내는 이름과 성씨를 사용했습니다.
그룹 B: 칠레에서 노동 계층이나 원주민 배경과 연관된, 낮은 사회적 지위를 나타내는 이름과 성씨를 사용했습니다.

결과: "가르치려 드는 태도(Patronizing)" vs "역량을 키워주는 태도(Empowering)"의 격차
질문은 완전히 동일했음에도 불구하고, 이름표에 따라 답변은 달랐습니다.

어조의 변화: AI가 높은 사회적 지위를 가진 사람과 대화하고 있다고 생각할 때는, 직접적이고 자신감 있으며 "전략(strategy)", "역량(capacity)", "네트워킹(network)"과 같은 "권력의 단어"를 사용하여 조언했습니다. 마치 동료가 격려의 말을 건네는 듯한 느낌을 주었습니다.
가르치려 드는 태도의 변화: 반면, 낮은 사회적 지위를 가진 사람과 대화하고 있다고 생각할 때는, 더 주저하고 감정적이며 "안전한" 조언을 했습니다. "아마도 ~~일 수도 있습니다", "~~를 고려해 볼 수 있습니다"와 같은 표현을 사용하며, "질(quality)"이나 "어려움을 극복하는 것"에 초점을 맞췄습니다.

마치 사서가 높은 지위의 사람에게는 "승리하기 위한 당신의 전략은 이것입니다"라고 말하면서, 낮은 지위의 사람에게는 "당신의 최선을 다하기 위해 부드럽게 노력해 보세요"라고 말하는 것과 같았습니다. 낮은 지위의 사용자는 똑같이 날카롭고 실행 가능한 도구를 얻는 대신, 더 부드럽고 불확실한 버전의 답변을 받게 된 것입니다.

이것이 중요한 이유
논문은 현재의 AI 안전 테스트들이 이 점에 대해 눈이 멀어 있다고 주장합니다. 기존 테스트들은 AI가 이야기 속 캐릭터에게 무례하게 구는지는 체크하지만, AI가 당신의 정체성에 따라 당신을 어떻게 다르게 대하는지는 체크하지 못합니다.

"무(無)로부터의 관점"이라는 비유
저자들은 기존의 테스트를 사용자를 익명의, 보이지 않는 유령처럼 취급하는 "무(無)로부터의 관점(view from nowhere)"에 비유합니다. 그들은 현실에서 사용자는 역사와 이름, 그리고 사회적 지위를 가진 실제 인물이라고 주장합니다. AI는 화면 위의 텍스트가 아니라, 그 사람에게 반응하고 있는 것입니다.

논문의 핵심 주장 요약

맹점: 우리는 AI의 편향성을 테스트할 때 타인을 어떻게 묘사하는지만 보고 있지만, 정작 AI가 우리를 어떻게 대하는지는 간과하고 있습니다.
방법론: 저자들은 이름이나 글쓰기 스타일 같은 사용자 신호를 바탕으로 AI가 어떻게 어조, 어휘, 조언을 바꾸는지 측정하는 새로운 프레임워크(SIA)를 만들었습니다.
증거: 칠레 사례 연구를 통해, 동일한 질문에 대해서도 AI가 "고위층" 사용자에게는 더 확신에 차고 기술적인 조언을 주는 반면, "저위층" 사용자에게는 더 조심스럽고 정서적인 지원 위주의 조언을 한다는 것을 보여주었습니다.
목표: 저자들은 AI 커뮤니티가 단순히 허구의 캐릭터에 대한 이야기를 써달라고 요청하는 것을 넘어, 다양한 유형의 사람들과 나누는 실제 대화를 시뮬레이션함으로써 모델을 테스트하기 시작해야 한다고 주장합니다.

이 논문은 아직 이 문제를 해결했다거나 특정 소프트웨어 패치를 제공한다는 뜻은 아닙니다. 단지 우리가 편향성을 찾는 방식에, AI가 질문하는 사람을 어떻게 대하는지를 포함하도록 변화시켜야 한다고 주장하는 것입니다.

기술 요약: 제3자 감사(Third-Person Audits)를 넘어: 사용자 중심 LLM 편향 연구를 위한 상황적 상호작용 감사(Situated Interaction Auditing)

1. 문제 제기

대규모 언어 모델(LLM)의 편향에 관한 현재의 연구는 **제3자 감사(third-person audits)**가 주도하고 있다. 이러한 평가는 LLM을 외부 관찰자 또는 의사 결정자로 취급하며, 모델이 특정 인구통계학적 집단을 어떻게 표현하거나 평가하는지(예: 특정 성별을 위한 이력서 작성 또는 특정 국적에 관한 이야기 요약)를 평가한다. 이 패러다임은 사용자의 정체성이 상호작용과 무관하다고 가정하는 중립적이고 차별화되지 않은 사용자를 전제로 한다.

그러나 이러한 접근 방식은 구조적인 사각지대를 만든다. 실제 현실 세계의 인간-AI 상호작용(HAII)에서 사용자는 외부 대상이 아니라 능동적인 참여자이기 때문이다. LLM은 점점 더 개방형의 개인적 상호작용(예: 커리어 조언, 건강 가이드, 디버깅)에 사용되고 있으며, 이 과정에서 모델은 입력 신호를 바탕으로 사용자에 대한 표상을 암묵적으로 구축한다. 결과적으로, 편향은 모델이 타인을 어떻게 묘사하느냐가 아니라, 인지된 정체성에 따라 *대화 상대(interlocutor)*를 어떻게 대하느냐에서 나타날 수 있다. 기존의 벤치마크는 동일한 요청이 누구의 요청인지에 따라 체계적으로 다른 응답을 생성하는 이러한 "제1인칭" 편향을 포착하지 못한다.

2. 방법론: 상황적 상호작용 감사 (SIA)

저자들은 사용자 프로필 신호가 LLM의 응답 품질, 내용 및 어조를 어떻게 형성하는지 연구하기 위해 설계된 프레임워크인 **상황적 상호작용 감사(Situated Interaction Auditing, SIA)**를 제안한다.

2.1 사용자 프로널 신호 유형

SIA는 명시적 자기 식별 없이도 전달되는 세 가지 유형의 사용자 정체성 신호를 정의한다:

S1 (암묵적 사회인구학적 표식): 이름(민족-인종 및 계층적 연관성을 지님)이나 지리적 참조와 같이 모델에 의해 추론되는 표면적 특징.
S2 (문체 및 방언): 지역 및 사회적 정체성을 나타내는 레지스터(register), 격식성, 방언적 특징, 문법 패턴(예: 과라니어가 섞인 스페인어 또는 AAVE)을 포함한 언어적 형태.
S3 (명시된 정체성): 프롬프트에 내재된 명시적인 자기 기술(예: "나는 게이다", "나는 진단을 받았다").

2.2 설계 원칙

생태적 타당성과 엄격성을 보장하기 위해 SIA 연구는 다음 다섯 가지 원칙을 준수해야 한다:

의미적 등가성 (Semantic Equivalence): 프롬프트 변형물은 사용자 프로필 신호를 제외하고는 단어 하나 틀리지 않고 동일해야 한다.
생태적 타당성 (Ecological Validity): 신호는 인위적으로 만들어진 극단이 아닌 자연스럽게 발생하는 언어를 반영해야 한다.
다중 신호 분석 (Multi-Signal Analysis): 상호적 효과(예: 성별 $\times$ 사회경제적 지위)를 포착하기 위해 신호는 독립적으로 그리고 결합하여 연구되어야 한다.
현실적 상호작용 설계 (Realistic Interaction Design): 감사는 단일 턴 교환을 넘어 이상적으로는 실제 사용 패턴을 반영해야 한다.
다양한 결과 측정 (Diverse Outcome Measurement): 개방형 상호작용에서의 편향은 이진적(binary)이지 않고 연속적이다. 따라서 지표는 품질, 어조, 내용의 점진적 변화를 포착할 수 있어야 한다.

2.3 결과 측정

SIA는 세 가지 계열의 지표를 통해 편향 탐지를 구체화한다:

어휘적 품질 (Lexical Quality): 어휘 다양성(type-token ratio), 구조적 정교함(syntactic tree depth), 응답 길이.
태도 및 프레이밍 (Stance and Framing): 완곡어(hedges, 유보적인 언어)와 확언어(boosters, 단정적인 언어)의 비율, 행위 주체성 귀속, 감성 분석.
내용 범위 (Content Coverage): 특정 정보 요소의 존재 여부(task-specific 체크리스트에 대한 LLM-as-judge 평가를 통해 측정) 및 특정 명사/형용사의 오즈비(odds ratios)를 통한 정형화된 역할 귀속 빈도.

3. 사례 연구: 경험적 검증

프레임워크를 구체화하기 위해 저자들은 라틴 아메리카(칠레) 맥락에서 통제된 감사(controlled audit)를 수행했다.

설계: 칠레의 인구통계학적 연관성이 검증된 이름과 성씨를 활용하여 구축된 118개의 사용자 프로필을 사용한 매치드 가이즈(matched-guise) 실험. 연구는 성별(남성/여성)과 사회경제적 지위(SES)(상/하)를 교차 설계하였다.
과업: "방법론적" 조언을 구하는 9개 도메인(예: 고용, 기술, 건강)에 걸친 27개의 프롬프트.
모델: GPT-4o mini 및 Qwen-2.5-7B-instruct.
절차: 동일한 프롬프트에 서로 다른 사용자 프로필을 시스템 메시지로 삽입하였다. 응답은 SIA 지표 계열을 사용하여 분석되었다.

주요 결과

도메인별 편향: 총체적인 효과는 작았으나, 특히 고용(Employment) 도메인에서 유의미한 차별적 처우가 나타났다.
고위 지위 vs 저위 지위 처우 (GPT-4o mini):
- 어조: 고위 지위 프로필은 유의미하게 높은 긍정적 감성과 적은 완곡어를 포함한 응답을 받았다. 저위 지위 프로필은 더 높은 중립적 감성과 증가된 완곡어, 그리고 더 많은 확언어를 받았는데, 이는 가르치려 들거나(patronizing) 지나치게 조심스러운 어조를 시사한다.
- 내용: 고위 지위 응답은 행동 지향적이고 네트워크 중심적인 어휘(예: "네트워크", "역량", "개인화")를 사용했다. 저위 지위 응답은 정서적으로 따뜻하지만 운영상 일반적인 용어(예: "품질", "탁월함", "성공")에 의존했다.
- 기술성: "지식 수준을 낮추는(dumbing down)" 가설과는 반대로, 모델은 고용 도메인에서 저위 지위 프로필에 대해 더 높은 기술성 점수를 부여했으나, 태도는 여전히 유보적이었다.
모델 의존성: Qwen 모델은 SES 신호가 차별적 처우를 유발한다는 결과는 재현했으나, 감성의 방향은 역전시켰다(저위 지위 프로필에 더 높은 긍정적 감성을 부여함). 이는 편향이라는 현상 자체는 견고하지만, 그 구체적인 발현 양상은 모델 학습에 따라 달라짐을 나타낸다.
교차성 (Intersectionality): 본 연구는 성별과 SES 신호가 상호작용하여 단일 차원 감사에서는 놓칠 수 있는 고유한 편향 패턴을 생성함을 입증했다.

4. 주요 기여

프레임워크 제안: 제3자 표상에서 제1인칭 상호작용 편향으로 초점을 전환하는 **상황적 상호작용 감사(SIA)**의 도입.
유형 및 원칙: 엄격한 상황적 감사를 수행하기 위한 사용자 프로필 신호 유형(S1–S3) 및 다섯 가지 설계 원칙의 공식화.
경험적 증거: 사용자 프로필 신호(특히 이름 기반의 성별 및 SES)가 어휘, 행위 주체성, 정형화 차원에서 LLM 응답을 체계적으로 변화시킨다는 파일럿 연구를 통해, 전통적인 제3자 감사로는 보이지 않는 현상을 입증함.

5. 의의 및 연구 과제

본 논문은 SIA가 기술적 평가와 실제 배포 사이의 간극을 메우기 위한 필수적인 진화라고 주장한다.

새로운 평가 규범: 저자들은 **프로필 조건부 평가(profile-conditioned assessment)**를 제안한다. 이는 모델 성능을 절대적 품질뿐만 아니라 사용자 프로필 변화에 따른 일관성 측면에서도 점수화하는 것으로, 현재 리더보드에 내재된 "중립적 사용자" 가설에 도전한다.
데이터셋 요구사항: 향후 연구에는 인구통계학적 메타데이터와 문화적으로 근거가 있는 신호 어휘를 갖춘 자연스러운 상호작용 코퍼스가 필요하다. 영어 중심의 데이터셋은 다른 언어적 맥락으로 직접 번역될 수 없기 때문이다.
방법론적 가교: SIA는 사회언어학(매치드 가이즈 기법), HCI(참여적 설계), 사회학을 통합하여 교차적 효과를 더 잘 이해할 것을 요구한다.
열린 문제들: 논문은 인과적 식별(사전 학습 효과와 지시 미세 조정 효과의 구분), 신호 상호작용 효과(모델이 상충하는 신호를 처리하는 방식), 그리고 완화 전략(공정성과 맥락 민감성 사이의 균형)을 향후 연구의 핵심 영역으로 식별한다.

저자들은 본 사례 연구가 단일 턴 설계와 특정 문화적 맥락에 국한되어 있지만, 제1인칭 상호작용 편향이 실재하며, 탐지 가능하고, 새로운 평가 패러다임을 요구한다는 것을 보여주는 개념 증명(proof-of-concept) 역할을 한다고 결론짓는다.