An LLM-Based System for Argument Reconstruction

기술 요약: 논증 재구성을 위한 LLM 기반 시스템

문제 제기
계산적 논증은 근본적인 이분법에 직면해 있습니다. 한쪽에서는 형식적 **논증 프레임워크 (AFs)**가 논증의 수용 가능성 평가에 엄격하고 그래프 기반의 구조를 제공하지만, 원시 자연어에서 논증을 추출하는 데는 어려움을 겪으며, 종종 암묵적 전제, 화용론적 맥락, 그리고 실제 세계 담론의 다양성을 처리하지 못합니다. 다른 한쪽에서는 **대규모 언어 모델 (LLMs)**이 풍부한 맥락적 지식을 보유하고 암묵적 연결을 식별할 수 있지만, 논증을 표현하기 위한 체계적이고 이론적으로 근거 있는 구조가 부족합니다. 시중의 LLM 생성물은 일관성이 없는 결과를 초래하여 비교하거나 집계하기 어렵고, 전통적인 논증 마이닝 접근법은 종종 표면적 특징에 의존하여 더 깊은 논리적 관계를 놓칩니다. 핵심 과제는 이러한 관점들을 연결하는 것입니다: LLM 의 유창성과 상식적 추론을 활용하면서도 형식적 논증 프레임워크의 구조적 엄격함을 준수하는 시스템을 구축하는 것입니다.

방법론
저자들은 자연어 텍스트에서 논증을 **유방향 비순환 그래프 (DAGs)**로 재구성하는 엔드투엔드 LLM 기반 시스템을 제안합니다. 이 시스템은 명시적 제약을 통해 잘 형성된 출력을 보장하도록 설계된 다단계 파이프라인을 사용하여 논증 구조를 점진적으로 구축합니다. 파이프라인은 다음 단계로 구성됩니다:

1. 논증 구성 요소 식별: LLM 은 주장과 전제를 식별하고 나열하여 관련 없는 콘텐츠를 필터링합니다. 규칙 기반 시스템과 달리, 사전 훈련된 맥락 이해를 활용하여 논증적 범위를 구분합니다.
2. 병합 및 재작성 (선택 사항): 중복되거나 밀접하게 연결된 구성 요소는 논리적 통합을 보장하기 위해 병합됩니다. 구성 요소는 문맥 의존적 표현 (예: 대명사) 을 해결하기 위해 재작성되어 독립적으로 완성되도록 합니다.
3. 결론 및 관계 식별:
   • 결론 식별: 주요 결론이 추출됩니다.
   • 전제 관계 (재귀적 전략): 너비 우선 탐색을 사용하여 시스템이 재귀적으로 목표 결론을 지지하거나 공격하는 전제를 식별합니다. 이 분해는 복잡성을 줄이고 방문하지 않은 구성 요소로 후보 전제를 제한함으로써 비순환 구조를 강제합니다.
4. 고급 구조 정제 (선택 사항):
   • 방문하지 않은 전제 확인: 연결되지 않은 구성 요소가 순환을 형성하는 경우 이를 연결하거나 병합되도록 보장합니다.
   • 연결된 전제 vs 수렴하는 전제: 결론을 공동으로 정당화하는 전제 (연결된) 와 독립적인 이유를 제공하는 전제 (수렴하는) 를 구분하며, 연결된 관계의 경우 중간 노드를 사용합니다.
   • 암묵적 전제 복구: 논증의 타당성에 필요한 누락된 전제 (은유적 논증) 를 식별하고 생성합니다.
   • 반박과 약화 구분: 전제에 대한 공격 (반박) 과 추론 링크 자체에 대한 공격 (약화) 을 구분하며, 후자의 경우 중간 노드를 삽입합니다.
5. 그래프 구축 및 시각화: 최종 출력은 노드가 구성 요소를 나타내고 방향성 있는 간선이 지지 또는 공격 관계를 나타내는 DAG 입니다. 시스템은 중복 간선을 제거하는 전이 축소 단계를 포함하며, 시각적 검사를 위한 다이어그램 빌더를 제공합니다.

주요 기여

• 통합 프레임워크: 본 논문은 LLM 기반 추출과 형식적 논증 제약을 통합하여 자연어 처리와 형식 논리 간의 간극을 효과적으로 연결하는 새로운 시스템을 제시합니다.
• 엔드투엔드 파이프라인: 구성 요소를 추출할 뿐만 아니라 복잡한 논리적 관계 (약화, 연결된 전제, 암묵적 가정) 를 추론하고 DAG 구조를 강제하는 모듈식 다단계 파이프라인입니다.
• 새로운 데이터셋: 저자들은 논증 이론 교과서 (Marcus Sacrini 의 Introduction to Argumentative Analysis) 에서 파생된 42 개의 논증으로 구성된 작고 주석이 달린 데이터셋을 구축했으며, 이는 제안된 표현 체계와 일치하는 다이어그램을 포함합니다.

실험 결과
이 시스템은 두 가지 보완적 실험을 통해 평가되었습니다:

1. 내부 평가 (교과서 데이터셋):

   • 구성 요소 수준: 시스템은 결론 탐지에서 92.50% 의 정확도를 달성했습니다. 범위 탐지는 F1 점수 **75.70%**를, 관계 탐지 정확도는 **80.57%**를 기록했습니다.
   • 구조 수준: 인간 주석자들은 암묵적 전제 (2.86), 약화 (2.90), **수렴/연결된 전제 (2.85)**에 대해 1~3 점 척도로 시스템을 높게 평가했으며, 주석자 간 일치도가 높았습니다.
   • 전체 수준: 생성된 그래프는 **완전성 (2.96)**과 신뢰성 (2.92) 측면에서 높게 평가되어, 시스템이 내용을 환각하지 않고 주요 구조를 포착함을 나타냈습니다.

2. 외부 평가 (벤치마크 데이터셋: AAEC 및 AbstRCT):

   • 표준 논증 마이닝 벤치마크에서 평가되었을 때, 전체 파이프라인(범위 탐지 포함) 은 낮은 성능을 보였습니다 (예: AAEC 에서 구성 요소 분류의 F1 점수 27.64). 이는 주로 기준 진실 (ground truth) 에 대한 정확한 범위 일치 어려움 때문입니다.
   • 그러나 금표준 구성 요소를 제공받아 (범위 탐지 우회) 평가했을 때 시스템의 성능은 크게 향상되었습니다. AbstRCT 데이터셋에서 링크 예측 F1 점수 51.51과 관계 탐지 F1 점수 46.21을 달성하여, 기존 최첨단 베이스라인 (Morio et al., 2022) 보다 각각 +11.77과 +7.5만큼 우월한 성능을 보였습니다. 이는 구성 요소가 알려진 경우 모델이 관계 구조를 효과적으로 포착함을 시사합니다.

의의 및 주장
본 논문은 제안된 시스템이 확장 가능한 논증 재구성을 위한 LLM 기반 파이프라인의 잠재력을 입증한다고 주장합니다. 약화 및 암묵적 전제와 같은 미묘한 현상을 포함하여 논증 이론 표준과 일치하는 논증 구조를 성공적으로 복원합니다. 저자들은 시스템이 교과서 스타일의 논증을 적절히 재구성하고 다른 주석 체계에 적응할 때 벤치마크에서 합리적인 성능을 달성하지만, 구성 요소 식별 (범위 탐지) 측면에서는 여전히 과제가 남아 있다고 결론지었습니다. 이 연구는 LLM 의 맥락적 강점과 형식적 프레임워크의 구조적 엄격함을 결합하는 것이 실현 가능한 진전 방향임을 강조하지만, 프롬프트 전략을 정교화하고 더 복잡하고 현실적인 데이터셋에서 시스템을 평가하기 위한 후속 작업이 필요함을 지적합니다.