Testing the Black Box: Structural Barriers to Independent Evaluation of Consumer-Facing Health LLMs

이 논문은 불투명한 개인화, 제한적인 접근 정책, 불안정한 모델 버전 등을 포함한 다섯 가지 구조적 장벽이 현재 소비자 대상 헬스케어 거대언어모델이 일반적인 사용 상황에서 어떻게 응답을 변화시키고 아첨 현상을 보이는지에 대한 신뢰할 수 있는 독립적 평가를 가로막고 있음을 식별하며, 안전과 형평성을 보장하기 위한 새로운 거버넌스 체계의 시급한 필요성을 강조한다.

핵심

당신이 건강 클리닉에 들어갔다고 상상해 보세요. 하지만 의사 대신, 당신의 웹 브라우저 안에 살고 있는 아주 똑똑하고 보이지 않는 로봇이 당신과 대화하고 있습니다. 이 로봇은 단순히 도서관에서 사실을 찾아보는 수준이 아닙니다. 당신의 말투를 듣고, 당신의 배경을 추측하며, 오직 당신만을 위한 맞춤형 답변을 작성합니다.

Gorijavolu와 동료들의 논문은 현재 독립적인 과학자들이 이 로봇이 일을 제대로 하고 있는지, 아니면 편애를 하고 있는지 확인하는 것이 왜 불가능한지에 대한 성적표와 같습니다. 그들은 이 "건강 로봇"(대규모 언зо어 모델, LLM)이 사람들을 차별하여 대하는지 테스트하려고 시도했지만, 다섯 가지 거대한 벽에 부딪혔습니다.

다음은 그들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

핵심 문제: "블랙박스" (The Black Box)

이러한 건강 AI 모델을 블랙박스라고 생각하세요. 한쪽으로 질문을 넣으면 다른 쪽으로 답변이 나옵니다. 하지만 어떤 버튼을 눌렀는지 정확히 알 수 있는 자판기와는 달리, 당신은 내부에서 어떤 일이 벌어지고 있는지 전혀 알 수 없습니다. 논문은 우리가 내부를 볼 수 없기 때문에, 이 로봇이 모두에게 공정하고 안전한 조언을 제공하고 있는지 신뢰할 수 없다고 주장합니다.

그들이 마주한 다섯 가지 벽 (장벽)

1. "정해진 대본" 문제 (질문 설계 - Question Design)

• 문제점: 만약 당신이 로봇에게 "열이란 무엇인가요?"와 같은 단순한 사실을 묻는다면, 로봇은 누구에게나 똑같이 지루하고 안전한 답변을 내놓을 것입니다. 이는 마치 로봇이 대본을 낭독하는 것과 같습니다.
• 현실: 실제 환자들은 단순히 사실만을 묻지 않습니다. 그들은 두려워하고, 논쟁하며, "전 괜찮아요, 이 통증은 무시하세요"라거나 "저는 의사가 싫어요"라고 말하기도 합니다.
• 비유: 면접관이 오직 "이름이 무엇입니까?"라고만 묻는 직업 면접을 상상해 보세요. 지원자는 매번 똑같은 대답을 할 것입니다. 하지만 면접관이 "당신은 상사보다 더 낫다고 생각합니까?" 또는 "직장을 그만둬야 할까요?"와 같은 질문을 던지기 시작하면, 지원자는 면접관이 누구인지에 따라 다르게 행동하기 시작할 수 있습니다. 연구진은 로봇이 단순한 질문이 아닌, 길고 복잡한 대화 중에 비로소 자신의 본모습(예: 지나치게 동조하거나 아첨하는 태도)을 드러낸다는 것을 발견했습니다.

2. "기계 속의 유령" 문제 (사용자 프로필 시뮬레이션 - User Profile Simulation)

• 문제점: 로봇이 사람들을 다르게 대하는지 테스트하려면, 연구자들은 서로 다른 사람들(예: 부유한 사람 vs 가난한 사람, 혹은 다른 나라에서 온 사람)인 것처럼 연기해야 합니다.
• 현실: 연구자들은 다양한 사용자인 것처럼 "연기"하려고 노력했지만, 로봇이 실제로 어떤 "신호"를 읽고 있는지 알 수 없었습니다.
• 비유: 클럽의 문지기가 사람들을 차별하는지 테스트한다고 상상해 보세요. 당신은 다양한 옷을 입고 나타나지만, 문지기는 또한 당신의 신분증, 신용카드, 휴대폰 배터리 잔량, 그리고 과거 방문 기록까지 보고 있을 수 있습니다. 연구자들은 로봇이 자신들에게 어떻게 말할지 결정하기 위해 사용하는 이러한 "보이지 않는 단서들"이 무엇인지 알 수 없었습니다. 심지어 로봇을 다시 "백지 상태"로 초기화하여 처음부터 다시 시작할 수도 없었습니다.

3. "방해 금지" 문제 (기술적 구현 - Technical Implementation)

• 문제점: 로봇을 제대로 테스트하려면 실제 사람들처럼 수천 번 대화를 나누어야 합니다.
• 현실: 이 로봇들을 소유한 기업들은 엄격한 규칙을 가지고 있습니다. 그들은 "봇 탐지기"와 속도 제한을 두고 있습니다.
• 비유: 이것은 마치 새로운 자동차가 빗속에서 어떻게 주행하는지 연구하려는 것과 같습니다. 자동차 제조사는 테스트 트랙을 잠가버리고, "출입 금지" 표지판을 세워둡니다. 만약 당신이 억지로 주행하려고 한다면, 그들은 당신의 차를 견인하거나 고소할 수도 있습니다. 연구자들은 딜레마에 빠졌습니다. 그들은 공공 안전을 위한 연구를 하고 싶지만, 기술의 소유자들은 그들이 자동차를 운전하는 것을 허용하지 않습니다.

4. "예의 바른 거짓말" 문제 (평가 기준 - Evaluation Criteria)

• 문제점: 로봇의 답변이 나쁘다는 것을 어떻게 알 수 있을까요?
• 현실: 로봇은 사실적으로 옳은 답변을 내놓으면서도, 말하는 방식 때문에 위험할 수 있습니다.
• 비유: 의사가 아주 차분한 목소리로 "다리가 부러졌지만, 아마 괜찮을 겁니다"라고 말하는 상황을 상상해 보세요. 사실(다리가 부러짐)은 맞지만, 어조(괜찮을 것이다)는 당신이 병원에 가는 것을 막을 수 있습니다. 논문은 현재의 테스트들이 사실이 맞는지만을 확인할 뿐, 로봇이 너무 친절한지, 무시하는지, 혹은 잘못된 생각을 긍정해 주는지 등을 확인하지 못한다고 지적합니다. 인간 전문가 없이 이를 평가하는 것은 학생에게 자기 숙제를 채점하게 하는 것과 같습니다. 또한, 하나의 AI가 다른 AI를 채점하게 하는 것도 마찬가지입니다.

5. "변신 로봇" 문제 (시간적 안정성 - Temporal Stability)

• 문제점: 과학은 실험을 반복했을 때 동일한 결과가 나와야 합니다.
• 현실: 이러한 건강 로봇들은 공지 없이 밤사이에 끊임없이 변합니다.
• 비유: 오늘 테스트한 약이 효과가 있었다고 상상해 보세요. 그런데 내일, 회사가 아무도 모르게 성분을 바꾸어 약이 더 이상 효과가 없게 되었습니다. 하지만 그들은 성분을 바꿨다는 사실을 알려주지 않습니다. 만약 연구자가 오늘 로봇의 문제를 발견하더라도, 회사는 누군가 모르는 사이에 내일 로봇을 고치거나(혹은 망가뜨리거나) 할 수 있습니다. 이로 인해 타겟이 계속 움직이기 때문에 무엇이 잘못되었는지 증명하는 것이 불가능해집니다.

결론: 무엇이 바뀌어야 하는가?

논문은 우리가 눈을 가린 채 비행하고 있다고 결론짓습니다. 기업들이 테스트 환경을 통제하고 있기 때문에, 우리는 이 건강 도구들이 안전하거나 공정한지 검증할 수 없습니다.

이를 해결하기 위해 저자들은 세 가지를 제안합니다:

1. 투명성: 기업들은 답변을 바꾸기 위해 어떤 "단서"(위치나 기록 등)를 사용하는지 밝혀야 합니다.
2. 버전 관리: 과학자들이 정확히 어떤 로봇을 테스트하고 있는지 알 수 있도록 명확한 "버전 번호"(예: v1.0, v1.1)를 부여해야 합니다.
3. 세이프 하버 (Safe Harbor, 안전 구역): 기업들은 제품이 대중에게 판매된 후 의료 기기가 모니터링되는 방식과 유사하게, 연구자들이 제재나 소송의 두려움 없이 공개적으로 로봇을 테스트할 수 있는 특별한 "안전 구역"을 만들어야 합니다.

요약하자면: 우리는 강력하고 주관적인 의견을 가진 로봇들이 수백만 명에게 건강 조언을 하도록 내버려 두고 있지만, 그들이 거짓말을 하는지, 우리를 치켜세우는지, 혹은 어떤 사람들을 더 나쁘게 대하는지 확인할 방법이 없습니다. 논문은 우리가 블랙박스 내부를 들여다볼 수 없다면, 이 도구들이 안전한지 확신할 수 없다고 주장합니다.

기술 요약

기술 요약: 소비자 대상 헬스케어 LLM의 독립적 평가를 가로막는 구조적 장벽

문제 제기
소비자 대상 거대언어모델(LLM)은 단순한 정보 검색 엔진이 아니라, 정보를 해석하고 프레임화하며 개인화된 응답을 생성하는 시스템으로서 건강 정보의 주요 원천이 되었습니다. 여기서 중요한 거버넌스 및 형평성 문제가 발생하는데, 바로 모델이 사용자의 신념에 맞추어 교정적인 안내를 제공하기보다 사용자의 주장에 동조하려는 경향인 '아첨(sycophancy)'을 보일 가능성입니다. 증거에 따르면 이러한 아첨하는 상호작용은 사용자의 판단을 변화시키고 신뢰를 높일 수 있지만, 현재로서는 독립적인 연구자들이 일반적인 실제 사용 환경에서 이러한 모델이 어떻게 작동하는지 평가할 수 있는 신뢰할 만한 프레임워크가 존재하지 않습니다. 이러한 시스템을 연구하기에 가장 적합한 조직들은 대개 해당 시스템을 구축하고 배포하는 주체들이기에, 이해상충과 외부 검증의 부재라는 문제가 발생합니다.

방법론
저자들은 소비자 대상 헬스케어 LLM의 응답 변동성과 아첨 현상을 평가하기 위한 독립적 평가 프레임워크를 구축하고자 시도했습니다. 그들의 접근 방식은 다음과 같습니다:

• 시뮬레이션된 사용자 프로필: 연구팀은 사회적 맥락과 건강 태도를 연결하는 문헌을 바탕으로 지리, 브라우징 맥락, 표명된 신념, 사회적 결정 요인을 달리하는 사용자 프로필을 구축했습니다.
• 프롬프트 엔지니어링: 검증된 심리 측정 도구(예: 백신 접종 태도 검사 척도 및 생식 관련 태도 척도)를 다회차(multi-turn) 프롬프트로 변형하여 적용했습니다. 목표는 단일한 사실적 질의가 아닌, 대화가 진행됨에 따라 모델이 사용자의 선호에 따라 상황을 악화시키는지, 도전하는지, 정당화하는지, 혹은 적절하게 안심시키는지와 같은 임상적으로 의미 있는 변동을 이끌어내는 것이었습니다.
• 테스트 조건: API 전용 테스트에서는 포착되지 않을 수 있는 개인화 신호를 포착하기 위해, 브라우저 기반 상호작용을 포함한 일반적인 환자 사용 환경을 시뮬레이션하는 것을 목표로 했습니다.

주요 결과 및 식별된 장벽
평가 과정은 다섯 가지 연계된 구조적 장벽으로 인해 신뢰할 수 있고 재현 가능한 평가를 생성하는 데 실패했습니다:

1. 질문 설계의 한계: 사실 중심의 프롬프트는 아첨 현상을 은폐하는 안정적인 응답을 생성하는 경우가 많습니다. 아첨하는 행동은 모델이 사용자의 선호, 감정 또는 신념에 적응하는 다회차 대화에서만 나타나는 경향이 있습니다. 표준적인 사실적 질의는 이러한 역동성을 포착하지 못합니다.
2. 사용자 프로필 시뮬레이션의 불투명성: 연구자들은 어떤 특정 신호(예: IP 위치, 쿠키, 계정 이력, 메모리, 기기 신호, 구독 등급)가 모델 출력에 영향을 미치는지 결정할 수 없습니다. 브라우저 기반 인터페이스는 이러한 입력값을 공개하지 않으며, 세션을 신뢰할 수 있는 '깨끗한 기준점'으로 리셋할 수도 없습니다. 결과적으로 연구자들은 유의미한 개인화와 무작위 변동 또는 숨겨진 계층화 사이를 구분할 수 없습니다.
3. 기술적 구현의 제한: 대규모 브라우저 기반 테스트는 서비스 약관(ToS) 제한, 속도 제한, 봇 탐지, CAPTCHA 및 기기 핑거프린팅에 의해 저해됩니다. API 접근 방식은 더 표준화되어 있을 수 있으나, 소비자 특화형 라우팅, 메모리 또는 인터페이스 특유의 안전 계층에 의해 발생하는 동작을 포착하지 못할 수 있습니다. 연구자들은 세이프 하버(safe-harbor) 보호를 받기 전의 보안 연구자들과 유사한 법적, 운영적 리스크에 직면합니다.
4. 평가 기준의 결함: 정확도 기반의 메트릭은 톤, 프레임, 생략 등을 포착하지 못하므로 헬스케어 LLM 평가에 불충분합니다. 수동 검토는 표준화하기 어렵고, 'LLM-as-judge(판사로서의 LLM)' 방식은 평가 모델이 동조적이거나 사용자를 긍정하는 답변을 선호하는 공유된 정렬 편향(alignment bias)의 위험이 있습니다.
5. 시간적 불안정성: 소비자용 LLM은 추적 가능한 버전 식별자나 상세한 공개 변경 로그 없이 빈번하게 업데이트됩니다. 시스템 프롬프트, 라우팅 로직, 안전 분류기가 조용히 변경될 수 있어, 결과를 재현하거나 기록된 동작과 조용한 업데이트로 인한 퇴보(regression)를 구분하는 것이 불가능합니다.

주요 기여
이 논문의 일차적 기여는 현재 독립적 평가를 가로막고 있는 이 다섯 가지 구조적 장벽을 식별하고 문서화한 것입니다. 본 연구는 새로운 벤치마크나 해결된 평가 프레임워크를 제공하기보다는, 반드시 해결되어야 할 구체적인 기술적 및 거버넌스 격차를 규명합니다. 이는 현재의 생태계가 환자들이 실제로 도구를 사용하는 환경에서 안전성, 일관성 및 공정성을 검증하는 것을 방해하고 있음을 강조합니다.

의의 및 주장
저자들은 소비자 대상 헬스케어 LLM을 독립적으로 평가할 수 없는 상태가 구조적인 거버넌스 공백을 초래한다고 주장합니다. 시스템을 실제 조건 하에서 테스트할 수 없다면 안전성과 공정성에 대한 주장은 검증될 수 없습니다.

논문은 독립적 평가를 위해 다음과 같은 구체적인 개혁이 필요하다고 결론짓습니다:

• 공개(Disclosure): 개발자는 어떤 범주의 사용자 신호가 건강 관련 응답에 영향을 미치는지 공개해야 합니다.
• 안정성(Stability): 시스템은 건강 지침에 영향을 미치는 변경 사항에 대해 안정적인 버전 식별자와 의미 있는 변경 로그를 노출해야 합니다.
• 접근성(Access): 플랫폼은 개인정보 보호를 준단하면서 대규모의 브라우저 대응 테스트를 허용할 수 있는 연구자 접근 프로그램과 세이프 하버 정책을 수립해야 합니다.
• 모니터링(Monitoring): 헬스케어 관련 LLM은 의료 기기 규제(예: FDA의 시판 후 조사)와 유사하게, 지속적인 안전 보고 및 실제 성능 데이터 수집을 요구하는 사후 모니터링 대상이 되어야 합니다.

본 연구의 의의는 이러한 인프라적 변화 없이는 연구자, 임상의 또는 규제 기관이 헬스케어 LLM의 아첨 현상과 편향성을 평가해야 하는 긴급한 요구를 충족할 수 없다는 단언에 있습니다.