ArgLLM-App: An Interactive System for Argumentative Reasoning with Large Language Models

이 논문은 인간의 의사결정에 대한 신뢰할 수 있는 설명과 논쟁을 가능하게 하는 대규모 언어 모델 기반의 논증적 추론 시스템인 'ArgLLM-App'을 소개하며, 이는 시각화 기능과 외부 신뢰 출처 연동, 모듈형 설계를 통해 사용자와의 상호작용을 지원합니다.

핵심

🤖 "ArgLLM-App": 인공지능의 '논리 토론 동아리'를 소개합니다

이 논문은 인공지능 (AI) 이 단순히 "정답"을 말해주는 것을 넘어, 왜 그 답을 내렸는지 설명하고, 우리가 그 논리를 직접 수정하며 토론할 수 있는 시스템을 소개합니다.

이 시스템을 쉽게 이해하기 위해 **'지혜로운 도서관 사서'**와 **'논리 토론 동아리'**라는 비유를 사용해 설명해 보겠습니다.

---

1. 문제: AI 는 왜 '설명'을 못 할까?

지금까지의 AI(대규모 언어 모델) 는 마치 모든 책을 다 읽은 천재 사서와 같습니다. 질문을 던지면 아주 빠르게 정답을 알려주죠. 하지만 문제는 이 사서가 **"왜 이 책이 정답이라고 생각했는지"**를 설명할 때, 때로는 엉뚱한 이유를 대거나, 틀렸을 때 우리가 그걸 지적하기 어렵다는 점입니다. 마치 "내 직감이 그랬어"라고만 말하는 것과 비슷하죠.

2. 해결책: 'ArgLLM'이라는 논리 토론 동아리

저자들은 이 문제를 해결하기 위해 **ArgLLM(Argumentative LLM)**이라는 새로운 방식을 고안했습니다. 이는 AI 가 혼자 답을 짓는 게 아니라, 논리 토론 동아리를 만들어서 문제를 해결하는 방식입니다.

• 동아리 구성원 (논증): AI 가 주장 (Claim) 을 던지면, 이를 지지하는 사람 (지지자) 과 반대하는 사람 (공격자) 이 나옵니다.
• 토론 규칙 (QBAF): 이 동아리는 무작정 떠드는 게 아니라, 엄격한 규칙 (수학적 논리) 을 따릅니다. 누가 누구를 공격하고, 누가 누구를 지지하는지 나무 모양의 지도를 그리며 정리합니다.
• 결과 도출: 이 지도를 통해 "지지를 받는 주장이 더 강하다"거나 "공격을 많이 받아 약하다"는 점수를 매겨 최종 결론을 냅니다.

이 방식의 가장 큰 장점은 결론이 어떻게 나왔는지 그 '지도'를 보여줄 수 있다는 점입니다. 만약 AI 가 틀렸다면, 우리는 그 지도를 보며 "여기서 지지자가 잘못됐어"라고 지적할 수 있습니다.

3. ArgLLM-App: 우리가 직접 참여하는 '인터랙티브 앱'

이 논문에서 소개하는 ArgLLM-App은 바로 이 '논리 토론 동아리'를 누구나 쉽게 이용할 수 있게 만든 웹 애플리케이션입니다.

🎮 이 앱은 어떻게 작동할까요? (일상적인 비유)

1. 질문 던지기 (주제 정하기):
   • 예: "우크라이나가 2030 년 전에 EU 에 가입할까?"라고 물어봅니다.
2. 자동 토론 시작 (AI 가 논리 지도 그리기):
   • 앱이 자동으로 "가입할 수 있다"는 주장과 "가입하기 어렵다"는 주장을 만들고, 각각의 근거를 찾아 나무 모양의 지도로 그려줍니다.
   • 이때 PDF 문서를 올려주면, AI 는 그 문서 내용을 참고해서 더 정확한 근거를 찾아옵니다 (RAG 기술).
3. 사용자의 개입 (내가 동아리 회장을 맡다!):
   • 신뢰도 조절: "이 근거는 너무 약해 보여"라고 생각하면, 슬라이더를 움직여 그 근거의 신뢰도를 직접 낮출 수 있습니다.
   • 새로운 멤버 추가: "아니, 이 근거를 반박할 수 있는 다른 사실이 있어!"라고 생각하면, '추가' 버튼을 눌러 새로운 공격자나 지지자를 지도에 직접 추가할 수 있습니다.
   • 채팅으로 수정: 복잡한 지도를 보기 싫다면, 채팅창에 "이 부분 수정해 줘"라고 말하면 앱이 알아서 논리 지도를 다시 그려줍니다.

4. 왜 이것이 중요할까요?

기존의 AI 는 **블랙박스 (상자 안의 비밀)**처럼 작동했다면, ArgLLM-App 은 유리창으로 된 상자입니다.

• 투명성: AI 가 왜 그런 결론을 내렸는지 그 '논리 지도'를 볼 수 있습니다.
• 신뢰성: 우리가 틀린 부분을 직접 고쳐주면, AI 는 그걸 반영해서 다시 결론을 냅니다.
• 유연성: 사용자가 원하는 깊이와 넓이로 토론을 확장할 수 있습니다. (예: "단순한 1 단계 토론 말고, 더 깊은 2 단계 토론을 해줘"라고 설정 가능)

5. 요약: 이 앱은 어떤 사람한테 좋을까요?

이 앱은 복잡한 문제를 해결해야 하는 의사결정자나 AI 의 판단을 신뢰하고 싶지만 검증하고 싶은 일반인에게 좋습니다. 마치 함께 토론하며 정답을 찾아나가는 친구처럼, AI 가 단순히 명령을 따르는 도구가 아니라, 우리가 함께 논리를 다듬어가는 상호작용 파트너가 되어주는 것입니다.

한 줄 요약:

"ArgLLM-App 은 AI 가 혼자 정답을 외치는 게 아니라, 우리가 함께 논리 지도를 그리며 토론하고, 틀린 부분을 고쳐주는 **'상호작용형 논리 토론 동아리'**입니다."

기술 요약

제공된 논문 "ArgLLM-App: An Interactive System for Argumentative Reasoning with Large Language Models"에 대한 상세 기술 요약은 다음과 같습니다.

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 은 방대한 지식을 보유하고 제로샷 (zero-shot) 환경에서 다양한 작업을 수행할 수 있어 의사결정 시스템으로 각광받고 있습니다. 그러나 LLM 은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 설명 불가능성 (Unexplainability): LLM 이 생성한 출력의 근거를 인간이 신뢰할 수 있게 설명하기 어렵습니다.
• 검토 불가능성 (Non-contestability): LLM 이 오류를 범했을 때, 인간이 그 오류를 식별하고 논리적으로 반박하거나 수정하기가 매우 어렵습니다.
  이러한 한계를 극복하고 LLM 의 강점과 인간의 통제력을 결합할 필요가 있습니다.

2. 방법론 (Methodology)

이 논문은 논증적 LLM(Argumentative LLM, ArgLLM) 접근법을 기반으로 한 웹 기반 인터랙티브 시스템인 ArgLLM-App을 제안합니다. 핵심 방법론은 다음과 같습니다:

• 양적 양극성 논증 프레임워크 (QBAF) 활용:
  • ArgLLM 은 LLM 을 활용하여 **QBAF(Quantitative Bipolar Argumentation Framework)**를 구성합니다.
  • QBAF 는 논증 (Arguments), 공격 (Attack), 지지 (Support), 그리고 기본 점수 (Base Score) 로 구성된 그래프 구조입니다.
  • LLM 은 주어진 주장 (Claim) 에 대한 증거를 생성하고, 이를 기반으로 논증 간의 공격/지지 관계를 정의하며, 각 논증의 초기 신뢰도 (Base Confidence) 를 산출합니다.
• 점진적 의미론 (Gradual Semantics):
  • 생성된 QBAF 에 대해 점진적 의미론 (예: DF-QuAD, Euler-based, Quadratic Energy 등) 을 적용하여 각 논증의 최종 신뢰도를 계산합니다. 이 과정은 공격자와 지지자의 강도에 따라 논증의 강도를 반복적으로 업데이트하는 방식입니다.
• 인터랙티브 수정 및 RAG 통합:
  • 사용자 개입: 사용자는 생성된 QBAF 를 시각화하여 직접 수정할 수 있습니다.
    • 신뢰도 조정: 슬라이더를 통해 특정 증거의 기본 신뢰도를 변경합니다.
    • 구조 확장: 새로운 공격자 (Attacker) 나 지지자 (Supporter) 를 추가하여 논증의 깊이 (Depth) 와 폭 (Breadth) 을 확장합니다.
    • 채팅 인터페이스: 채팅을 통해 추가 정보를 제공하면 시스템이 이를 자동으로 논증 구조에 반영합니다.
  • RAG(검색 증강 생성) 방식: 사용자가 PDF 문서를 업로드하면 이를 마크다운으로 파싱하여 LLM 프롬프트에 포함시킵니다. 이를 통해 LLM 이 신뢰할 수 있는 외부 소스를 기반으로 논증을 생성하도록 합니다.

3. 주요 기여 (Key Contributions)

• ArgLLM-App 시스템 개발: 이진 분류 작업 (예: 주장 검증) 을 수행하는 ArgLLM 기반 에이전트를 구현한 웹 애플리케이션을 공개했습니다.
• 고도로 모듈화되고 유연한 아키텍처:
  • 생성되는 QBAF 의 **깊이 (Depth 1 또는 2)**와 **폭 (Breadth, 최대 4 개)**을 사용자가 설정할 수 있습니다.
  • 다양한 점진적 의미론 (Gradual Semantics) 알고리즘을 선택하여 적용할 수 있습니다.
• 인간 - AI 협업 인터페이스: 시스템의 추론 과정을 시각적으로 보여주고, 인간 사용자가 논증의 오류를 식별하여 직접 수정 (신뢰도 변경, 논증 추가) 할 수 있는 인터랙티브 기능을 제공합니다.
• 신뢰할 수 있는 소스 기반 추론: PDF 문서 업로드를 통한 RAG 방식을 도입하여, LLM 의 환각 (Hallucination) 을 줄이고 신뢰할 수 있는 근거에 기반한 논증을 생성하도록 설계했습니다.

4. 결과 및 성능 (Results)

• 검증된 효과성: 기존 연구 [3] 에서 주장 검증 (Claim Verification) 태스크에 대해 ArgLLM 이 체인 - 오브 - 씽킹 (Chain-of-Thought) 과 같은 최첨단 기법과 경쟁력 있는 성능을 보인 것으로 입증되었습니다.
• 시스템 가용성: ArgLLM-App 은 argllm.app 에서 공개되었으며, 비디오 데모를 통해 시스템의 작동 방식을 시각적으로 확인할 수 있습니다.
• 사용자 상호작용: 사용자가 QBAF 구조를 수정하거나 문서를 업로드했을 때, 시스템이 이를 반영하여 이진 의사결정 결과를 즉시 재평가하는 것이 가능함을 시연했습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 의의: 이 시스템은 LLM 기반 의사결정의 **투명성 (Transparency)**과 **책임성 (Accountability)**을 높이는 중요한 도구입니다. 인간이 AI 의 추론 과정을 이해하고, 오류가 발생했을 때 이를 수정할 수 있게 함으로써 '검토 가능한 (Contestable)' AI 시스템을 실현합니다.
• 향후 과제:
  • 심도 확장: 사용자의 인지 과부하를 피하면서 QBAF 의 깊이를 2 보다 더 깊게 확장.
  • 다중 에이전트 및 LLM 지원: OpenAI 단일 모델 지원에서 벗어나 다양한 LLM 제공자 지원 및 서로 다른 LLM 을 사용하는 다중 에이전트 간 논쟁 (Debate) 기능 추가.
  • 자율적 RAG: 사용자가 문서를 업로드하는 것을 넘어, 에이전트가 스스로 관련 소스를 찾아 논증을 추출하는 완전한 RAG 통합.
  • 복합 작업 지원: 단일 이진 결정에서 여러 질문이나 복잡한 의사결정 작업으로 확장.
  • 다중 사용자 협업: 여러 사용자가 동시에 시스템과 상호작용하며 논쟁할 수 있는 기능 추가.

이 논문은 LLM 의 추론 능력을 논증 이론 (Argumentation Theory) 과 결합하여, 인간이 신뢰하고 통제할 수 있는 차세대 의사결정 지원 시스템의 가능성을 제시합니다.