Comparative Analysis of Rule-Based, Deep Learning, and LLM Approaches for Causality Extraction: A Unified Benchmark

인간의 의사소통이라는 광활한 풍경 속에서, 우리는 끊임없이 원인과 결과의 이야기를 엮어냅니다. 우리는 폭우가 강을 범람하게 했다거나, 마감 기한을 놓친 것이 프로젝트의 실패로 이어졌다고 말합니다. 때때로 이러한 연결 고리는 "때문에" 또는 "~라는 결과를 낳았다"와 같은 단어들로 표시되어 명확합니다. 하지만 종종 그 연결은 숨겨져 있습니다. 어떤 텍스트는 원인이 결코 이름 붙여지지 않은 채 사건의 순서만을 기술하며, 독자가 문맥과 상식을 바탕으로 관계를 추론하도록 남겨둡니다. 컴퓨터가 진정으로 우리의 언어를 이해하기 위해서는 이러한 '보이지 않는 실'을 찾아내는 법을 배워야 하며, 이 작업은 인과 추출(causality extraction)이라 알려져 있습니다. 이것은 단순한 언어적 퍼즐이 아닙니다. 뉴스 보고서, 의료 기록, 또는 안전 조사 내용을 분석하여 무엇이 일어났고 왜 일어났는지를 이해해야 하는 기계들에게는 실질적인 필수 과제입니다. 수년 동안 연구자들은 세 가지 서로 다른 전략을 사용하여 컴퓨터에게 이 기술을 가르치려 노력해 왔습니다: 인간이 만든 엄격한 규칙 세트, 예시로부터 학습하는 복잡한 신경망, 그리고 지침을 통해 추론할 수 있는 최신 세대의 거대 언어 모델입니다. 그러나 각 그룹이 서로 다른 데이터와 서로 다른 채점 방식을 사용하여 자신들의 방법을 테스트했기 때문에, 어떤 접근 방식이 진정으로 최선인지 혹은 어디에서 실패하는지를 아는 것은 불가능했습니다.

뮌헨 공과대학교의 한 연구자는 단일하고 통합된 테스트 환경을 구축함으로써 이 불확실성을 해결하기로 했습니다. 그는 뉴스, 의료, 금융, 안전 보고서에서 기존의 텍스트 모음들을 수집하였고, 모든 인과 관계에 대한 레이블을 동일한 엄격한 정의를 따르도록 정교하게 다시 작성했습니다. 이를 통해 세 가지 주요 전략을 동일한 조건 하에서 나란히 테스트할 수 있는 공정한 경기장을 만들었습니다. 그는 특정 단어와 문법 패턴을 찾는 단순한 규칙 기반 시스템을, 수천 개의 예시를 학습한 딥러닝 모델과 대결시켰으며, 마지막으로 방대한 양의 텍스트를 처리하고 복잡한 지침을 따를 수 있는 거대 언어 모델과 대결시켰습니다. 목표는 단순히 어떤 방법이 가장 높은 점수를 얻느냐를 보는 것이 아니라, 각 방법이 명시적으로 언급되지 않은 원인을 찾거나 긴 문서 내에서 멀리 떨어진 사건들을 연결하는 것과 같은 까다로운 부분을 어떻게 다루는지 확인하는 것이었습니다.

결과는 "새로운 것이 더 낫다"라는 단순한 이야기보다 훨씬 더 미묘한 양상을 보여주었습니다. 연구자는 "caused"나 "due to"와 같은 단어를 포착하는 데 의존하는 전통적인 규칙 기반 시스템이 원인이 명확할 때는 여전히 놀라울 정도로 효과적이라는 것을 발견했습니다. 이러한 단순한 경우에, 이들은 가장 진보된 신경망만큼이나 잘 수행하면서도, 학습 데이터가 전혀 필요 없고 계산 능력도 거의 소모하지 않습니다. 그러나 이러한 경직된 시스템은 원인이 숨겨져 있을 때 단단한 벽에 부딪힙니다. 표면적인 단서에 전적으로 의존하기 때문에, 특정 연결어를 사용하지 않고 관계를 암시하는 텍스트에서는 거의 완전히 실패합니다.

주석이 달린 예시를 통해 학습된 딥러닝 모델들은 이 격차를 상당히 메워주었습니다. 이들은 숨겨진 원인을 포착하고 단일 문장이나 짧은 단락 내의 문맥을 이해하는 데 훨씬 더 뛰어난 능력을 증명했습니다. 하지만 이들은 원인과 결과가 여러 문장으로 떨어져 있거나 텍스트가 긴 사건의 사슬을 설명할 때는 어려움을 겪었습니다. 가장 강력한 도구인 거대 언어 모델은 이러한 숨겨진 연결과 먼 거리의 연결을 찾는 데 있어 최고의 전반적인 능력을 보여주었습니다. 이 모델들이 구체적인 예시와 함께 세심하게 조정되었을 때, 특히 '암시적이면서 동시에 문서 전체에 퍼져 있는 원인'을 찾는 가장 어려운 카테로리에서 다른 방법들을 능가했습니다. 그러나 이러한 우수한 성능에는 막대한 대가가 따랐습니다. 거대 모델은 실행하는 데 훨씬 더 많은 컴퓨uring 파워를 요구했으며, 각 문서를 처리하는 데 훨씬 더 오랜 시간이 걸렸습니다. 더욱이, 가장 뛰어난 거대 모델조차 특정한 종류의 실수를 저질렀는데, 바로 올바른 아이디어는 식별하지만 구절의 정확한 경계를 약간 틀리게 잡는 '경계 표류(boundary drift)' 문제였습니다.

아마도 가장 중요한 발견은 단일한 방법으로는 문제를 완전히 해결할 수 없다는 점이었을 것입니다. 거대 언어 모델이 전반적으로 가장 강력했지만, 긴 문서에 대한 완전한 인과 구조를 완전히 재구성하는 데는 여전히 절반 정도의 확률로 실패했습니다. 연구자는 세 가지 접근 방식 모두 중간 사건이 원인이나 결과로 명시적으로 레이블링되지 않은 인과 사슬에서 어려움을 겪는 것을 관찰했으며, 이는 현재의 과제 정의 방식이 실제 세계의 서사가 가진 복잡성에 비해 너무 단순할 수 있음을 시사합니다. 또한 연구는 거대 모델들이 의료 텍스트에서 안전 보고서로 이동하는 것과 같이 주제의 변화를 다룰 만큼 견고함에도 불구하고, 본래의 영역에 비해 정확도가 크게 떨어짐을 보여주었습니다.

최종적인 그림은 명확한 승자가 있는 것이 아니라 상호 보완적인 강점들이 존재하는 모습입니다. 연구자는 선택하는 방법이 전적으로 애플리케이션의 구체적인 필요에 달려 있어야 한다고 결론지었습니다. 만약 시스템이 수천 개의 보고서를 빠르게 처리해야 하고 원인이 대개 명확하다면, 단순한 규칙 기반 시스템이나 표준 신경망이 가장 실용적인 선택이 될 수 있습니다. 하지만 목표가 다양하고 어려운 텍xt에서 복잡하고 숨겨진 관계를 이해하는 것이라면, 거대 언어 모델은 그 비용을 감수할 가치가 있습니다. 단, 그 한계점들이 관리된다는 전제하에 말입니다. 이 연구는 이 분야의 미래가 한 기술이 다른 기술을 물리기를 기다리는 것이 아니라, 규칙의 속도와 정밀함, 그리고 거대 모델의 추론 능력을 결합한 하이브리드 시스템을 구축하는 데 있다는 것을 시사합니다. 각 접근 방식이 가진 사각지대를 인정함으로써, 연구자들은 이제 인과관계의 전체 이야기를 진정으로 이해할 수 있는 도구를 향해 나아갈 수 있게 되었습니다.