Comparing LLM and Fine-Tuned Model Performance on NVDRS Circumstance Extraction with Varying Prompt Complexity

수천 개의 자살과 관련된 비극적 사건에 대한 손으로 쓴 이야기로 이루어진 거대한 퍼즐을 풀려고 상상해 보세요. 이러한 이야기들은 경찰 보고서와 부검 기록에서 비롯된 것으로, 사람들이 왜 자살을 하는지 이해하는 열쇠를 쥐고 있습니다. 목표는 이러한 이야기들을 "가정 내 약물 남용"이나 "간병인 부담"과 같은 특정 범주로 분류하는 것입니다.

그러나 이러한 이야기들을 분류하는 것은 까다롭습니다. 단순히 특정 단어 (예: "알코올"이나 "암") 를 찾는 것만으로는 부족합니다. 때로는 이야기가 해당 범주처럼 보이지만 실제로는 그렇지 않은 상황을 묘사하거나, 명시적으로 언급하지는 않았지만 해당 범주를 암시하는 내용을 묘사하기도 합니다. 이는 영화의 줄거리가 아니라 단 한 장의 프레임만 보고 추측하는 것과 같습니다. 그림 속 사물뿐만 아니라 맥락을 이해해야 합니다.

다음은 이 퍼즐에 대한 해결책을 논문이 어떻게 설명하는지입니다:

1. 두 가지 유형의 "수사관"

연구진은 분류 작업을 수행하기 위해 두 가지 다른 유형의 AI "수사관"을 테스트했습니다.

• "전문가" (파인튜닝된 모델): 과거 사건들의 방대한 도서관을 암기한 수사관을 상상해 보세요. 그들은 이전에 백만 번 이상 본 패턴을 매우 빠르고 정확하게 포착합니다. 그러나 그들이 본 적 없는 드물고 기이한 사건에 직면하면, 깊은 이해보다는 암기된 패턴에 의존하기 때문에 종종 막히거나 잘못 추측합니다.
• "일반인" (대규모 언어 모델 또는 LLM): 천재적인 철학자인 수사관을 상상해 보세요. 그들은 모든 구체적인 사건을 암기한 것은 아니지만, 세상의 거의 모든 것을 읽어왔습니다. 그들은 미묘한 뉘앙스, 논리, 그리고 "말하지 않은 것을 읽는" 능력을 탁월하게 발휘합니다. 그들은 이전에 본 적이 없는 드문 상황이라도 논리를 통해 해결책을 찾아낼 수 있지만, 때로는 다소 느리거나 단순한 일을 과잉 분석할 수도 있습니다.

2. 문제: "드문 사례들"

연구진은 일반적인 이야기들 (예: "직장 문제"나 "재정 문제") 에 대해서는 전문가가 훌륭하다는 것을 발견했습니다. 하지만 "가정 내 약물 남용"과 같이 매우 구체적인 규칙 (누가 약물을 사용하는지, 어디에 사는지에 관한 규칙 등) 이 있는 드물고 복잡한 이야기들의 경우, 전문가는 규칙을 학습할 만큼 충분한 예시를 보지 못했기 때문에 처참하게 실패합니다.

반면, 일반인은 정확히 같은 시나리오를 본 적이 없더라도 논리를 통해 답을 추론할 수 있기 때문에 이러한 드물고 복잡한 사례에서 빛을 발합니다.

3. 해결책: "복잡도 점수" 알고리즘

큰 질문은 다음과 같습니다: 어떤 이야기를 위해 어떤 수사관을 사용해야 할까요?

팀원들은 복잡도 점수라는 영리한 도구를 고안해냈습니다. 이는 비디오 게임의 "난이도 게이지"와 같습니다.

• AI 가 이야기를 읽기 전에, 알고리즘은 해당 범주의 "규칙책"을 살펴봅니다.
• 규칙책에 까다로운 "아니요" 예시 (예: "성인이므로 알코올 언급이 있더라도 이는 계산하지 마세요") 가 있다면, 게이지는 올라갑니다. 이는 복잡한 사례임을 의미합니다.
• 규칙책이 직관적이라면 게이지는 낮게 유지됩니다. 이는 단순한 사례임을 의미합니다.

4. 하이브리드 전략: "스마트 스위치"

모든 것에 하나의 수사관만 사용하는 대신, 연구진은 스마트 스위치가 있는 하이브리드 시스템을 구축했습니다.

• 게이지가 "단순"이라고 말하면: 시스템은 이야기를 전문가(빠른 패턴 매칭 모델) 에게 보냅니다.
• 게이지가 "복잡"하다고 말하면: 시스템은 이야기를 일반인(LLM) 에게 보내고 구체적인 규칙과 예외 사항을 설명하는 상세한 "치트 시트"(복잡한 프롬프트) 를 제공합니다.

5. 결과

• 승자: 하이브리드 시스템이 전체적으로 가장 우수했습니다. 이야기 분류에서 거의 완벽했습니다.
• 격차: 전문가는 일반적인 것에는 좋았지만 드문 것에는 끔찍했습니다. 일반인은 드문 것에는 훌륭했지만 때로는 단순한 것을 지나치게 복잡하게 만들었습니다.
• 마법: "난이도 게이지"가 어떤 수사관을 사용할지 결정하게 함으로써, 그들은 양쪽의 장점을 모두 얻었습니다. 가장 어렵고 드문 사례의 경우, 상세한 치트 시트를 가진 일반인이 압도적으로 우수하다는 것을 발견했습니다.

6. 그들이 넘어진 곳 (오류들)

최고의 시스템을 사용했음에도 불구하고 실수가 발생했습니다. 연구진은 세 가지 주요 원인을 발견했습니다.

1. 나쁜 라벨: 때로는 원래 이야기를 쓴 사람이 "정답 키"에서 실수를 했습니다. AI 가 실제로 맞았고 사람이 틀린 경우였습니다.
2. 단어에 대한 과잉 반응: AI 는 때로 "대면하다"나 "쫓겨나다"와 같은 단어를 보고 그것이 싸움이나 퇴거를 의미한다고 가정했습니다. 나중에 이야기가 사소한 불일치나 일시적인 상황임을 설명했음에도 불구하고요. AI 는 맥락보다는 단어에 너무 집중했습니다.
3. 진정으로 모호한 이야기: 일부 이야기는 애매모호했습니다. 죄책감의 느낌이 "간병인 부담"을 의미하는지 아니면 단순히 "후회"를 의미하는지 100% 확신할 수 없는 경우도 인간에게 있었습니다. 이러한 경우, AI 의 혼란은 이해할 수 있었습니다.

결론

이 논문은 모든 것에 하나의 AI 모델을 선택해서는 안 된다고 결론 내립니다. 대신, 작업이 얼마나 까다로운지 보고 그 다음에 일을 수행할 올바른 도구를 할당하는 스마트 관리자처럼 작동하는 시스템을 구축해야 합니다. 드물고 혼란스러운 상황의 경우, 상세한 규칙책을 가진 "철학자" AI 가 필요합니다. 일반적이고 직관적인 상황의 경우, "패턴 매칭" 전문가가 더 빠르고 동일하게 훌륭합니다. 이 접근 방식은 자살 위험 요인을 이해하는 전체 과정을 훨씬 더 정확하고 효율적으로 만듭니다.