기술 요약: 불신 없는 검증 (Verification Without Distrust)

문제 제기

인간-AI 상호작용에 관한 연구는 전통적으로 "신뢰-교정(reliance-calibration)" 패러다임 하에서 운영되어 왔으며, 이는 신뢰와 검증이 하나의 역관계(inverse continuum)를 형성한다고 가정한다. 즉, 시스템에 대한 신뢰가 높아질수록 사용자의 출력물 검증 필요성은 낮아진다는 것이다. 자동화 신뢰(trust-in-automation) 문헌에서 계승된 이 가정은, 감시(oversight)를 불필요하게 만들기 위해 "적절한 신뢰"를 구축하는 데 설계 노력을 집중해야 한다고 규정한다. 그러나 본 논문은 중요한 경험적 공백을 식별한다: 이러한 역관계가 일상적이고 개방적이며 반복적인 인간-챗봇 상호작용 맥락에서 직접적으로 테스트된 적이 없다는 점이다. 나아가, 사용자 측의 "인간 참여형(human-in-the-loop, HITL)" 관행—구체적으로 챗봇의 출력을 제어하기 위해 사용자가 자발적이고 자기 주도적으로 수행하는 작업—의 보편성, 구조 및 결과가 여전히 미비하게 정의되어 있다. 본 연구는 사용자의 확인 작업을 제거하는 것을 암묵적인 설계 목표로 삼는 것에 의문을 제기하며, 대신 검증이 신뢰 수준과 무관하게 일상적인 관행으로서 지속되는지 묻는다.

방법론

본 연구는 153명의 빈번한 챗봇 사용자를 대상으로 한 설문조사를 포함하는 횡단적 혼합 방법론 설계를 채택하였다. 표본은 주로 젊은 층(56.2%가 18~24세)이었으며, 학생 신분(69.9%) 및 STEM 분야(컴퓨팅/IT 또는 공학 전공 75.9%) 중심이었고, 사용 빈도가 높았다(6로 67.3%가 매일 사용).

도구 구성:
설문은 인구통계, 멘탈 모델, 신뢰, 감시 행동, 인지된 통제력, 만족도, 설계 선호도를 포함하는 7개 섹션에 걸쳐 5점 리커트 척도를 활용하였다.

• 신뢰: 일반적인 성향적 지향성("나는 일반적으로 챗봇의 답변을 신뢰한다")으로 조작화되었다.
• 감시 행동: 네 가지의 뚜렷한 사용자 측 관행을 측정하였다:
  1. 검증(Verification): 행동하기 전 정보를 재확인하는 것.
  2. 정교화(Refinement): 챗봇에게 답변을 다시 작성하거나, 길이를 조절하거나, 개선하도록 요청하는 것.
  3. 수정(Correction): 챗봇이 틀렸을 때 이를 알려주는 것.
  4. 감시/승인(Oversight/Approval): 자동 실행 전 행동을 확정하는 것.
• 결과: 과업 촉진, 즐거움(만족도 복합 지표), 인지된 통제력(느껴지는 에이전시)을 통해 측정되었다.

분석:
양적 분석에는 기술 통계, 피어슨 및 스피어먼 상관계수(Fisher 변환 95% 신뢰구간 포함), 그리고 조절 회귀 분석이 포함되었다. 개방형 질문을 통한 질적 데이터는 주제 분석(단일 코더)을 통해 분석되었다. 부적격 참가자(18세 미만 또는 비사용자) 및 저참여 응답자(동일한 리커트 응답자)를 제외하기 위한 민감도 분석을 실시하여 주요 결과의 견고함을 확인하였다.

주요 결과

1. 감지 가능한 신뢰-검증 연관성 없음 (RQ1)

전형적인 예측과 달리, 본 연구는 신뢰와 검증 사이에 감지 가능한 연관성이 없음을 발견하였다 ($r = .01$, 95% CI $[-.15, +.17]$, $p = .90$). 신뢰구간은 중간 정도의 역선형 관계 가능성을 배제한다. 이 영결과(null result)는 민감도 분석 및 숙련도 하위 그룹 전반에서도 유지되었다. 검증은 신뢰가 높아짐에 따라 감소하는 신뢰 종속적 행동이 아니라, 신뢰 수준과 무관하게 유지되는 일상적인 관행으로 보인다.

2. 평가적 감시와 개입적 감시의 구분 (RQ2)

본 연구는 사용자 측 HITL 관행의 구조적 이질성을 식별하였다:

• 평가적 감시 (검증): 신뢰와 감지 가능한 연관성이 없으며, 만족도와도 약하게 연결된다 ($r = .21$).
• 개입적 감시 (정교화, 수정, 승인): 이러한 관행들은 신뢰와 약한 양의 상관관계를 보이며, 만족도와 강력하게 연결된다 (정교화 $r = .48$, 승인 $r = .39$, 수정 $r = .38$).
  사용자들은 이러한 개입적 관행을 폭넓게 지지하고 있으며(67~75%가 상위 2개 항목 선택), 이는 챗봇과의 상호작용에서 만족도가 출력을 수동적으로 받는 것이 아니라 출력을 능동적으로 형성하는 능력에 의해 유도됨을 시사한다.

3. 만족도-통제력 간극 (RQ2)

과업 만족도와 인지된 통제력 사이에는 유의미한 해리가 존재한다. 사용자들은 높은 만족도($M = 4.22$)를 보고했으나, 인지된 통제력($M = 3.33$)은 실질적으로 더 낮았으며, 그 결과 중간에서 큰 규모의 간극($d = 0.72$)이 발생했다. 효과적인 과업 결과가 반드시 느껴지는 에이전시(agency)를 수반하는 것은 아니다. 회귀 분석 결과, 신뢰와 감시 행동은 인지된 통제력의 분산을 소량만 설명하였으며, 이는 현재의 인터페이스가 사용자의 개입을 "결과적(consequential)"으로 만들어 조종감을 생성하는 데 실패하고 있음을 시사한다.

4. 질적 통찰

질적 연구 결과, 사용자들은 챗봇을 협력자라기보다 **도구적 도구(instrumental tools)**로 간주한다. 신뢰는 전역적이기보다는 조건적이며 실패 모드 특정적(예: 수학적 오류나 허위 참조에 의해 트리거됨)이다. 검증은 불신에 대한 반응이라기보다 "일상적인 인식론적 위생(routine epistemic hygiene)"(교정 작업과 유사함)으로 묘사된다. 사용자들은 인식론적 인프라, 구체적으로 출처 속성, 추론 투명성, 그리고 세션 전반에 걸쳐 지속되는 수정 능력에 대한 요구를 나타냈다.

주요 기여

본 논문은 다섯 가지 구체적인 기여를 한다:

1. 경험적 증거: 빈번한 사용자들 사이에서 검증이 신뢰와 감지 가능한 연관성을 보이지 않음을 입증하여, 신뢰-교정 패러다임에 의문을 제기한다.
2. 이론적 구분: 평가적 감시(신뢰와 무관하며 만족도와 약하게 연결됨)와 개입적 감시(신뢰와 약하게 상관되며 만족도와 강하게 연결됨)의 분리를 제안한다.
3. 만족도-통제력 간극: 효과적인 결과가 체감되는 에이전시를 생성하지 못한다는 간극($d = 0.72$)을 정량화하여, 만족도가 통제를 의미한다는 가설에 도전한다.
4. 이론적 합성: 사용자 측 HITL을 신뢰 교정이 아닌 일상적인 인식론적 거버넌스를 중심으로 조직된, 시스템 측 HITL의 "빠른 프로세스(fast-process)" 보완재로 재정의한다.
5. 설계 방향: 사용자 니즈에 기반한 네 가지 구체적인 설계 방향을 도출한다:
   • 출처 단서(Provenance cues): 내장된 출처 속성.
   • 프로세스 투명성(Process transparency): 추론 흔적 및 불확실성 지표.
   • 수정 지속성(Correction persistence): 수정 사항이 턴(turn)이나 세션 전반에 걸쳐 전파되도록 보장.
   • 통제 가능한 선호 기억(Governable preference memory): 검사 가능하고, 구성 가능하며, 가역적인 개인화.

의의 및 주장

본 논문은 "더 잘 교정된 신뢰가 체크를 줄인다"는 가정이 대화형 환경에서는 경험적 근거가 부족하다고 주장한다. 대신, 검증은 신뢰와 양립 가능한 일상적인 인식론적 거버넌스의 형태라고 상정한다. 저자들은 설계 질문을 "사용자가 체크를 멈추도록 어떻게 신뢰를 구축할 것인가?"에서 **"사용자가 이미 하고 있는 체크를 어떻게 지원할 것인가?"**로 재구성한다.

본 연구는 결론적으로, 사용자 측 감시는 일류의 상호작용 모드로 취급되어야 한다고 주장한다. 투명성이나 신뢰 구축만을 통해 사용자의 개입 필요성을 제거하려 하기보다, 검증, 정교화, 수정이라는 기존의 관행을 **스캐폴딩(scaffolding, 구조화된 지원)**하는 데 집중해야 한다. 이러한 접근 방식은 효과적인 과업 결과가 체감되는 에이전시와는 별개임을 인정하며, 의미 있는 인간의 통제는 사용자의 개입을 명료하고 결과적으로 만드는 데 필요하다는 것을 보여준다. 연구 결과는 현재의 챗봇 인터페이스가 만족스럽기는 하지만, 사용자가 상호작용을 조종하고 있다는 느낌을 주는 데 필요한 "결과적 성격(consequentiality)"을 제공하는 데는 종종 실패하고 있음을 시사한다.