Machine-mediated theorizing: Examining epistemic work in a generative AI grounded theory workflow

탐정과 로봇: 미스터리를 해결하는 새로운 방법

당신이 거대하고 복잡한 미스터리를 풀려는 탐정이라고 상상해 보십시오. 당신에게는 수백 개의 단서가 있습니다. 목격자 진술, 흐릿한 사진, 그리고 갈기갈기 찢어진 메모들 말입니다. 당신의 임무는 단순히 그것들을 읽는 것이 아닙니다. 그것들이 무엇을 의미하는지, 그리고 그것들이 어떻게 서로 맞물려 전체 이야기를 구성하는지 파악하는 것입니다. 과학의 세계에서 이것을 **질적 연구(qualitative research)**라고 부릅니다. 숫자를 세는 대신, 연구자들은 세상이 어떻게 돌아가는지에 대한 이론을 세우기 위해 단어와 경험 속에서 패턴을 찾습니다.

오랫동안 과학자들은 이를 수행하는 최선의 방법에 대해 논쟁해 왔습니다. **근거 이론(Grounded Theory)**이라 불리는 유명한 방법은 집을 기초부터 쌓아 올리는 것과 같습니다. 당신은 가공되지 않은 벽돌(인터뷰 데이터)에서 시작하여, 벽돌을 억지로 어떤 모양에 끼워 맞추지 않고 천천히 벽(범주)을 쌓고 지붕(이론)을 올려 하나의 집을 완성합니다. 핵심적인 우려는 항상 이것이었습니다. "우리는 진실을 발견하고 있는 것인가, 아니면 그저 우리가 원하는 모양으로 벽돌을 억지로 끼워 맞추고 있는 것인가?"

이제 이 탐정 사무소에 새로운 플레이어가 등장했습니다. 바로 생성형 AI(당신이 대화할 수 있는 똑똑한 챗봇 같은 것)입니다. 사람들은 묻습니다. "로봇이 탐정 업무를 할 수 있을까?" 어떤 이들은 AI가 모든 것을 즉시 해결해 줄 마법 같은 도구라고 말하고, 다른 이들은 사실을 지어내는 위험한 거짓말쟁이라고 말합니다. 하지만 정작 로봇이 이론을 구축하려고 할 때 어떻게 생각하는지는 아무도 제대로 알지 못했습니다. 로봇은 단순히 단어를 분류하는 것일까요, 아니면 실제로 이야기를 변화시키는 것일까요? 이 논문은 바로 이 질문을 파고듭니다. 로봇이 "맞느냐 틀리느냐"를 보기 위해서가 아니라, 인간의 직관과 기계의 논리 사이에서 벌어지는 무질서하고도 매혹적인 춤을 관찰하기 위해서입니다.

실험: 로봇에게 탐정이 되는 법을 가르치다

이 연구의 연구자들은 특정 유형의 AI에게 실제 세상의 미스터리를 건네줌으로써 가능성을 테스트하기로 했습니다. 그 미스터리는 바로 수술 도구(외과의사가 사용하는 도구)가 만들어지는 과정에 관한 이야기였습니다. 연구자들은 AI에게 교과서나 정답 목록을 주지 않았습니다. 대신, 과정에 참여하는 서로 다른 세 사람의 인터뷰를 제공했습니다. 손으로 직접 작업하는 숙련된 장인, 도구를 설계하는 엔지니어, 그리고 큰 비즈니스 결정을 내리는 관리자입니다.

AI는 근거 이론을 따르는 탐정처럼 행동하라는 지시를 받았습니다. AI는 다음의 과정을 수행해야 했습니다:

1. 인터뷰를 읽고 핵심 아이디어를 추출한다 (코딩).
2. 그 아이디어들을 더 큰 바구니로 그룹화한다 (범주화).
3. 이 바구니들을 연결하여 서로 어떻게 관련되어 있는지 보여준다 (축 코딩).
4. 모든 것을 하나로 묶어주는 하나의 주요 아이디어를 선택한다 (핵심 범주).
5. 전체 시스템이 어떻게 작동하는지에 대한 최종 이론을 구축한다.

결정적으로, AI는 인간 연구자가 무엇을 찾으라고 지시하거나 마지막까지 검토하지 않는 상태에서 이 모든 과정을 스스로 수행해야 했습니다. 그 후 인간들은 AI의 "탐정 노트"를 살펴보며 AI가 어떻게 미스터리를 풀었는지 확인했습니다.

로봇이 실제로 한 일 (그리고 하지 못한 일)

결과는 놀라웠습니다. AI는 단순한 분류 기계도 아니었지만, 그렇다고 천재 탐정도 아니었습니다. 그것은 그 중간 어디쯤에 있는 존재, 즉 이야기를 전달하면서 동시에 변화시키는 협력적 파트너였습니다.

1. "매끄러운 이야기"의 함정
AI는 상황을 깔끔하게 만드는 데 매우 능숙했습니다. 인터뷰 내용이 무질서하고 모순과 서로 다른 의견으로 가득 차 있을 때, AI는 이를 매끄럽게 다듬었습니다. AI는 울퉁불퉁하고 복잡한 현실을 매끄럽고 선형적인 직선으로 바꾸는 것을 좋아했습니다.

• 비유: 장인이 "나는 제대로 하기 전에 도구 세 개를 망가뜨리며 배웠다"라고 말하고, 관리자가 "우리는 엄격한 규칙과 안전 점-검이 있다"라고 말한다고 가정해 봅시다. AI는 이 내용을 가져와 완벽하고 곧은 길을 만들었습니다: "문제 $\rightarrow$ 시행착오 $\rightarrow$ 성공". 현실은 막다른 길과 우회로가 있는 울퉁불퉁한 오프로드 드라이브와 같음에도 불구하고, AI는 마치 매끄러운 영화 시나리오처럼 이야기를 만들었습니다.

2. "강요"의 문제
논문은 AI가 데이터를 자신의 내부 논리에 맞는 모양으로 "강요"하는 경향이 있다는 것을 발견했습니다. AI는 단순히 패턴을 찾는 것에 그치지 않고, 완전히 존재하지 않는 연결 고리를 만들어냈습니다.

• 비유: 이는 퍼즐 조각 두 개가 잘 맞지 않을 때, 조각이 딱 맞도록 플라스틱을 살짝 구부리는 퍼즐 해결사와 같습니다. AI는 특정 세부 사항(예: 외과의의 피드백)을 가져와 이를 전체 이야기의 핵심 동력인 "임상의 매개 제품화(Clinician-Mediated Productification)"라고 부르며 주인공으로 만들었습니다. 데이터상으로는 관리자의 결정이나 노동자의 감정 등이 똑같이 중요했음에도 불구하고, AI는 이 하나의 아이디어를 이야기의 영웅으로 만들었습니다.

3. "사라지는" 디테일들
AI가 모순을 처리하는 방식 중 가장 흥-미로운 점 중 하나는 모순을 구석진 곳에 숨겨버린다는 것이었습니다. 데이터에 맞지 않는 내용(예: 수년 전 수작업 도구 생산을 중단한 공장)이 나타났을 때, AI는 이야기를 버리는 대신 그 모순을 유지하되 이를 "한계점"이나 "참고 사항"으로 분류했습니다.

• 비유: 당신이 항상 승리하는 영웅에 대한 이야기를 쓰고 있다고 상istic 해봅시다. 그러다 영웅이 패배하는 페이지를 발견했습니다. 이야기를 다시 써서 영웅의 결점을 보여주는 대신, AI는 그 "패배" 페이지를 "이런 일이 있었으나, 메인 플롯에는 영향을 주지 않음"이라는 각주를 달아 구석에 밀어 넣었습니다. 이야기는 깔끔하게 유지되지만, 무질서한 진실은 여백 속에 숨겨집니다.

4. 언어의 변화
인터뷰는 터키어로 진행되었지만, AI는 영어로 말했습니다. 이 과정에서 "지식의 손실"이 발생했습니다. hissiyat(수년간의 경험을 통해 얻은 깊은 직관이나 느낌)과 같은 터키어 단어는 "feeling(느낌)"이나 "intuition(직관)"으로 번역되었습니다. AI는 그 단어를 유지했지만, 원래 단어가 가진 묵직하고 실천적인 무게감은 잃어버렸습니다. AI는 깊이 있는 신체적 기술을 단순한 개념으로 바꾸어 놓았고, 이는 체계적인 범주에 넣기는 더 쉽게 만들었지만, 장인의 실제 경험에는 덜 충실하게 만들었습니다.

핵심 요점: 이것은 마법이 아니라 팀 스포츠다

이 논문은 AI가 단순히 단어를 분류하는 중립적인 도구도 아니고, 스스로 생각할 수 있는 로봇도 아니라고 결론짓습니다. AI는 **사회기술적 파트너(sociotechnical partner)**입니다. 즉, "사고"는 인간과 기계 사이의 공간에서 일어납니다.

AI는 단순히 실수를 한 것이 아니라, 특정한 종류의 선택을 했습니다. AI는 이야기를 선형적으로 만들고, 모순을 매끄럽게 다듬으며, 인간의 혼란스러운 감정보다 조직의 언어를 우선시하는 선택을 했습니다. AI는 이론을 "발견"한 것이 아니라, 자신이 어떻게 프롬프트를 받았고 데이터를 어떻게 처리했는지에 따라 이론을 구성한 것입니다.

그렇다면 이것이 우리에게 의미하는 바는 무엇일까요?
저자들은 우리가 단순히 "AI가 옳은가?"라고 물어서는 안 된다고 제안합니다. 대신, 우리는 AI가 어떻게 이야기를 구축하는지를 지켜봐야 합니다. 우리가 기계에게 연구를 정리하도록 맡길 때 주의해야 합니다. 왜냐하면 AI는 인간의 삶을 실재하게 만드는 바로 그 무질서하고, 모순적이며, 흥미로운 부분들을 의도치 않게 덮어버릴 수 있기 때문입니다. AI는 강력한 조수이지만, "구부러진 퍼즐 조각"을 보고 "잠깐, 이건 우리가 말하는 이야기와 맞지 않아요. 더 자세히 살펴봅시다"라고 말할 수 있는 인간 탐정을 필요로 합니다.

결국, 이 논문은 AI를 심층 연구에 사용하는 것이 인간의 사고를 대체하는 것이 아니라, 우리의 도구가 세상을 보는 방식을 어떻게 변화시키는지 이해하는 과정임을 시사합니다. 로봇은 패턴을 보는 것을 도와주지만, 우리는 로봇이 매끄럽지만 약간은 가짜인 이야기를 통해 무질서하고 아름다운 진실을 숨기도록 내버려 두어서는 안 됩니다.