"It became a self-fulfilling prophecy": How Lived Experiences are Entangled with AI Predictions in Menstrual Cycle Tracking Apps

기술적 요약: "자기충족적 예언이 되었다": 생리 주기 추적 앱에서 AI 예측과 생활 경험이 어떻게 얽혀 있는가

문제 제기
생리 주기 추적 애플리케이션 (MCTA) 은 increasingly AI 기반 기능을 활용하여 생리 주기, 생식력, 기분, 신체 증상 (예: 경련, 복부 팽만, 불안) 에 대한 개인화된 예측을 제공합니다. 이러한 도구들은 자기 인식과 건강 관리를 강화하는 것을 목표로 하지만, 예측 생성 과정이 투명하지 않은 '블랙박스' 성격을 지니고 있습니다. 기존 연구에 따르면 웰빙 기술 내의 AI 는 종종 복잡한 인간의 경험을 단순화하여 알고리즘 출력과 사용자의 실제 생활 현실 사이의 불일치를 초래합니다. 특히, '근거 사실 (ground truth)'이 사용자 본인에게만 알려진 주관적 상태인 기분과 관련하여, 사용자가 이러한 예측 기능과 어떻게 상호작용하는지에 대한 이해에는 여전히 간극이 존재합니다. 이러한 불투명성은 사용자들이 자신의 신체 감각보다 알고리즘 예측을 더 신뢰하게 만드는 과도한 의존을 조장할 위험이 있으며, 이는 예측이 경험 자체에 영향을 미쳐 '자기충족적 예언'을 만들어낼 수 있습니다. 또한, 현재의 설명 가능한 AI(XAI) 접근법은 상업적 웰빙 맥락에서 사용 가능하거나 효과적인 설명을 제공하는 데 실패하는 경우가 많아, 사용자들이 이러한 얽힌 상호작용을 비판적으로 참여할 수 있는 자원을 제공하지 못합니다.

방법론
저자들은 MCTA 내 인간-AI 얽힘을 조사하기 위해 두 가지 별도의 연구로 구성된 혼합 방법 질적 접근법을 사용했습니다:

1. 연구 1: 반구조화 사용자 인터뷰

   • 참가자: 북유럽과 중부 유럽의 18~35 세 여성 14 명으로, 현재 및 전 MCTA 사용자이며 다양한 주기 유형 (정상, 불규칙, 결여) 을 포함합니다.
   • 절차: 인터뷰는 참가자들의 AI 기능에 대한 이해, 기록 관행, 그리고 AI 예측 및 설명에 대한 생활 경험에 초점을 맞추었습니다. 참가자들은 주기 예측, 증상 통찰, 생식력 예측 등 특정 AI 기능을 논의하기 위해 시장 선도 앱인 'Flo' 앱의 스크린샷을 보였습니다.
   • 분석: 데이터는 사용자가 AI 와 어떻게 의미를 해석하고 공동 구성하는지에 초점을 맞춘 Braun 와 Clarke 의 반성적 주제 분석을 위한 6 단계 프레임워크를 사용하여 분석되었습니다.

2. 연구 2: 그룹 자동민족지

   • 참가자: 논문의 네 명의 저자로, 다양한 신체 조건을 대표합니다: 정상 주기, 불규칙 주기 (PCOS), 폐경 전, 그리고 폐경 (호르몬 대체 요법 중).
   • 절차: 8 주에 걸쳐 저자들은 Flo, Clue, Stardust, Balance 등 다양한 MCTA 에서 기분과 증상을 추적하면서 개인 일지를 유지하고 인터페이스 산물 (스크린샷) 을 캡처했습니다.
   • 초점: 이 연구는 인터페이스 디자인, 기록 메커니즘, AI 예측이 실시간으로 어떻게 주관적 경험을 적극적으로 형성하는지에 대한 1 인칭의 순간적 성찰을 포착하는 것을 목표로 했습니다.
   • 분석: 개별 성찰은 종합되어 협력적으로 논의되었으며, 기록, 예측, 생활 경험의 얽힘과 관련된 주제를 식별하고, 특히 비규범적 신체의 경험을 강조했습니다.

주요 기여
이 논문은 HCI 및 디자인 문헌에 네 가지 주요 기여를 합니다:

1. 인간-AI 얽힘의 명확화: 사용자의 생활 경험과 자기 지식이 MCTA 에 의해 단순히 영향을 받는 것이 아니라, 기록 관행, 인터페이스 디자인, 예측 AI, AI 설명의 상호작용을 통해 공동 구성된다는 것을 밝힙니다.
2. 자원 격차 식별: 이 연구는 사용자가 이러한 얽힘에 대한 비판적 인식을 확립하기 위해 충분한 자원 (투명한 AI 설명 및 피드백 메커니즘 등) 을 부족하게 가지고 있으며, 이로 인해 예측에 직관적이지만 종종 비판적이지 않은 의존을 하게 된다는 것을 보여줍니다.
3. 소외 강조: PCOS, 불규칙 주기, 또는 폐경을 겪는 비규범적 사용자의 고립된 경험을 문서화하며, 이러한 시스템에 내재된 규범적 가정으로 인해 그들의 신체가 종종 병리화되거나 배제됨을 기록합니다.
4. 디자인 함의: 저자들은 단순한 투명성을 넘어 사용자의 자율성과 AI 얽힘에 대한 비판적 참여를 적극적으로 지원할 수 있는 디자인 전략을 제안합니다.

결과
이러한 발견은 사용자의 내부 상태와 앱 출력 사이의 경계가 모호해지는 '얽힘' 개념을 중심으로 조직화되었습니다.

• 직관적 이해 vs. 투명성 부족: 사용자는 AI 예측이 작동하는 방식에 대한 직관적 이해 (예: 더 많은 데이터가 더 높은 정확도로 이어진다는 이해) 를 가지고 있지만, 근본적인 메커니즘에 대한 구체적인 지식이 부족합니다. 이러한 불확실성은 사용자가 검증 없이 기술이 정확하다고 가정하는 '추측' 게임을 초래합니다.
• 경험의 공동 구성 (자기충족적 예언): 핵심 발견은 AI 예측이 사용자의 생활 경험을 적극적으로 형성한다는 것입니다. 참가자들은 예측을 받음 (예: "오늘 불안감을 느낄 수 있습니다") 으로 인해 그렇게 느끼도록 유도되거나, 예측의 렌즈를 통해 모호한 감각을 해석하게 된다고 보고했습니다. 사용자는 이러한 현상을 '자기충족적 예언'이나 점성술과 유사한 것으로 묘사했습니다.
• 검증 및 과도한 의존: 사용자는 종종 부정적인 생활 경험을 검증하기 위해 AI 예측에 의존합니다 (예: 슬픔을 느끼는 것이 주기 단계에 '정상'임을 확인). 예측이 현실과 맞지 않을 때, 사용자는 AI 의 정확성을 의문시하기보다 자기 성찰을 하거나 과거 기록 데이터를 변경하여 알고리즘과 일치시키려는 경향이 있습니다.
• 인터페이스 디자인의 역할: 자동민족지 연구는 인터페이스 자체 (아이콘, 범주형 레이블, 제안된 기록 등) 가 사용자가 감정을 해석하고 보고하는 방식을 안내한다는 것을 드러냈습니다. 예를 들어, 앱이 '불안' 대신 '강박적 사고'를 제안하면 사용자의 경험을 재구성하여 예측이 기록에 영향을 주고, 이는 다시 미래 예측에 영향을 미치는 피드백 루프를 생성할 수 있습니다.
• 비규범적 신체의 배제: 불규칙 주기, PCOS, 또는 폐경을 겪는 사용자는 소외감을 느낀다고 보고했습니다. 앱의 '규칙성 언어' (예: 주기를 '늦음'으로 레이블링) 는 자연스러운 변이를 오류나 결함으로 프레임화했습니다. 어떤 경우에는 비규범적 단계에 대한 관련 예측이나 설명의 부재로 인해 고립감과 기술이 자신을 위해 설계되지 않았다는 느낌을 받았습니다.

의의 및 주장
이 논문은 MCTA 내 인간-AI 얽힘이 제거해야 할 부정적 현상이 아니라, 설계되어야 할 현실이라고 주장합니다. 저자들은 정확성과 효율성을 우선시하는 현재의 디자인 패러다임이 AI 와 생활 경험의 공동 구성적 특성을 고려하지 못한다고 주장합니다.

이 작업의 의의는 단순히 예측 정확도를 개선하는 것에서 벗어나 사용자와 AI 사이의 관계를 인정하는 디자인 초점으로의 전환에 있습니다. 저자들은 사용자의 자기 지식이 AI 예측과 깊이 얽혀 있기 때문에 '부정확한' 예측이 사용자의 현실이 될 수 있다고 주장합니다. 따라서 디자인 개입은 단순히 '오류'를 수정하는 것을 넘어, 사용자가 의미 부여 과정을 자율적으로 유지할 수 있도록 지원해야 합니다.

이 논문은 다음과 같은 사항을 요구하며 결론을 맺습니다:

• 인지적 강제: 예측을 보기 전에 경험을 기록하도록 유도하는 인터페이스를 설계하여 프라임 효과를 방지합니다.
• 투명한 불확실성: 예측을 사실로 제시하기보다 예측의 한계와 불확실성을 명시적으로 드러내는 AI 설명을 제공합니다.
• 포용적 디자인: 예측을 선택적으로 중단할 수 있는 옵션을 제공하거나 다양한 생식 단계에 맞춘 설명을 제공함으로써 비규범적 신체를 수용하는 시스템을 구축하여, 현재 MCTA 디자인을 지배하는 '규범적' 가정을 탈피합니다.