Research Borderlands: Analysing Writing Across Research Cultures

학술 연구의 세계를 하나의 거대한 도서관이 아니라, 서로 다른 동네들이 모여 있는 북적이는 도시라고 상상해 보십시오. 자연어 처리(NLP), 머신러닝(ML), 교육과 같은 각 동네는 저마다의 독특한 방언, 패션 감각, 그리고 명문화되지 않은 에티켓 규칙을 가지고 있습니다.

이 논문, **"경계지대: 연구 문화 간의 글쓰기 분석(Borderlands: Analysing Writing Across Research Cultures)"**은 이러한 동네들을 항해하기 위한 가이드북과 같습니다. 저자들은 다음과 같은 단순한 질문에 답하고자 했습니다. 무엇이 특정 연구 논문을 한 특정 동네에 속해 있는 것처럼 느껴지게 만드는가?

다음은 이들의 여정과 발견을 일상적인 비유를 사용하여 정리한 내용입니다.

1. 문제 제기: "일률적인" 번역가

당신이 완벽한 영어를 구사하는 여행자라고 상상해 보십시오. 당신은 한 마을의 농부들에게 이야기를 들려주고 싶고, 그다음에는 다른 마을의 은행가들에게 이야기를 들려주고 싶습니다. 만약 당신이 똑같은 이야기와 똑같은 단어를 사용하여 그들에게 말한다면, 농부들은 혼란스러워할 것이고 은행가들은 지루함을 느낄 것입니다.

AI의 세계에서 거대 언어 모델(LLM)은 이러한 여행자들과 같습니다. 그들은 "영어"(일반적인 언어)를 말하는 데는 뛰어나지만, 서로 다른 연구 커뮤니티의 특정한 "방언"을 이해하는 데는 종종 어려움을 겪습니다. 기존의 대부분의 연구는 국적이나 언어(예: "프랑스어" 대 "영어")와 같은 광범위한 요소를 통해 문화를 측정하려 했습니다. 저자들은 이것이 너무 모호하다고 주장합니다. 대신, 그들은 과학의 구체적인 "동네"로 시야를 좁히기로 했습니다.

2. 방법론: "슈퍼 여행자"에게 묻다

이 동네들의 규칙을 이해하기 위해, 저자들은 단순히 데이터만 살펴본 것이 아니라 사람들과 대화를 나누었습니다. 그들은 인터디시플리너리(학제간) 연구자들, 즉 여러 커뮤니티(예: 컴퓨터 과학자와 의사 모두를 위해 글을 쓰는 과학자)를 위해 정기적으로 논문을 쓰는 "슈퍼 여행자"들을 인터뷰했습니다.

그들은 전문가들에게 물었습니다. "연구를 한 커뮤니티에서 다른 커뮤니티로 옮길 때, 무엇을 바꾸나요?"

이러한 대화를 바탕으로, 그들은 네 가지 주요 범주의 규칙을 가진 **문화 지도(Cultural Map)**를 구축했습니다:

• 구조적 규범 (건축 양식): 논문의 길이는 어느 정도인가? 차트가 많은가(시각적 이야기처럼), 아니면 숫자만 가득한 표가 있는가?
  • 비유: 어떤 동네는 높은 마천루(긴 논문)를 요구하는 반면, 어떤 곳은 아늑한 오두막을 선호합니다. 어떤 곳은 조각상이 있는 정원(그림/도표)을 원하고, 어떤 곳은 스프레드시트의 도서관(표)을 원합니다.
• 스타일 규범 (패션): 어떤 종류의 단어를 입는가? 무거운 전문 용어(유니폼처럼)를 사용하는가, 아니면 평이한 언어를 사용하는가? 어조는 격식 있는가(정장처럼), 아니면 캐주얼한가(청바지처럼)?
  • 비유: 어떤 동네에서는 "소수자(minorities)"라는 표현이 패션 실례가 될 수 있는 반면, 다른 곳에서는 표준 복장이 될 수 있습니다. 어떤 곳에서는 논점을 증명하기 위해 복잡한 수학을 사용해야 하지만, 다른 곳에서는 단순한 이야기가 더 효과적일 수 있습니다.
• 수사적 규범 (스토리텔링): 어떻게 이야기를 전달하는가? 딱딱한 숫자와 통계로 시작하는가, 아니면 큰 아이디어와 서사로 시작하는가?
  • 비가: 어떤 커뮤니티는 즉시 "영수증"(숫자)을 보여주기를 원합니다. 다른 곳은 "전설"(이야기)을 먼저 듣기를 원합니다.
• 인용 규범 (게스트 리스트): 이야기 속에서 누구를 언급하는가? 해당 분야의 고전적인 거장들을 인용하는가, 아니면 최신 트렌드 주제를 참조하는 것인가?
  • 비유: 모든 동네에는 자신들만의 "명예의 전당"이 있습니다. 만약 적절한 사람들을 언급하지 않는다면, 현지인들은 당신을 외부인이라고 생각할 것입니다.

3. 테스트: AI가 그 자리에 걸맞은 옷을 입을 수 있는가?

이 규칙들을 매핑한 후, 저자들은 AI 모델이 실제로 이 규칙들을 따를 수 있는지 확인하기 위해 "테스트 스위트"(측정 세트)를 만들었습니다. 그들은 한 커뮤니티(예: 머신러닝)를 위해 작성된 연구 논문의 서론을 가져와서, 이를 다른 커뮤니티(예: 교육학)에 맞게 다시 쓰도록 다양한 AI 모델에게 요청했습니다.

결과: AI는 "패션 균질화 도구"이다
연구 결과는 놀랍고도 다소 우려스러웠습니다:

• 좋은 소식: AI는 어휘를 바꾸는 데는 꽤 능숙했습니다. 교육학을 위해 써달라고 요청하면, 컴퓨터 전문 용어를 교육 용어로 교체했습니다. AI는 입어야 할 "단어"를 알고 있었습니다.
• 나쁜 소식: AI는 그 외의 모든 부분에서 실패했습니다. AI는 단순히 적응하는 것을 넘어, 글을 **평면화(flattening)**했습니다.
  • 대상 커뮤니티가 긴 논문을 선호하든 짧은 논문을 선호하든 상관없이, 모든 것을 더 짧게 만들었습니다.
  • 대상 커뮤니티가 그림과 도표를 좋아하더라도, 그것들을 모두 제거했습니다.
  • 어조를 균일하게 만들어, 특정 동네가 가진 고유한 "개성"을 박탈했습니다.

메타포: AI가 특정 상황에 맞는 특정 의상을 재봉하는 재단사가 아니라, 가위 하나를 들고 모든 옷을 똑같은 크기와 모양으로 잘라버리는 재단사라고 상상해 보십시오. 결과물은 "깔끔해" 보일지 모르지만, 그 누구에게도 제대로 맞지 않습니다.

4. 결론: 이것이 왜 중요한가

논문은 AI가 글쓰기에 점점 더 능숙해지고 있지만, 현재로서는 **문화적 역량(cultural competence)**이 부족하다고 결 결론짓습니다. AI는 모든 과학적 글쓰기를 동일하게 보이게 만드는 경-향이 있으며, 이는 위험할 수 있습니다.

모든 연구 논문이 똑같이 들리기 시작한다면, 우리는 서로 다른 분야가 가져오는 고유한 관점과 스토리텔링 스타일을 잃어버릴 수 있습니다. 저자들은 우리가 AI에게 논문을 대신 쓰게 하는 대신, 우리가 접하게 될 특정 "동네"에 논문이 잘 어울리도록 인간의 손길을 유지하면서, 이러한 문화적 경계를 탐색하는 데 도움을 주는 도구로 AI를 활용해야 한다고 제안합니다.

요약하자면: 이 논문은 서로 다른 과학 커뮤니티를 위해 글을 쓰는 것이 마치 서로 다른 파티에 맞춰 옷을 입는 것과 같음을 보여줍니다. AI는 현재 당신의 셔츠를 갈아입혀 주는 데는 매우 능숙하지만, 바지와 신발, 헤어스타일은 그대로 두어 모든 파티에서 당신을 어색하게 보이게 만듭니다.