Distilling Answer-Set Programming Rules from LLMs for Neurosymbolic Visual Question Answering

기술 요약: 신경 기호적 시각 질의응답(VQA)을 위한 LLM으로부터의 ASP 규칙 증류(Distilling)

문제 정의
시각 질의응답(VQA)은 멀티모달 입력(시각 및 텍스트)을 복잡한 추론 체인과 통합해야 합니다. 모듈형 신경 기호적(neurosymbolic) 접근 방식은 인지(신경망)와 추론(기호)을 분리함으로써 해석 가능성을 제공하지만, 유지보수 부담이 큽니다. 구체적으로, 새로운 질문 유형이나 추론 연산자의 도입과 같이 작업 요구사항이 변경될 때, 주로 답변 집합 프로그래밍(ASP)으로 구현된 기호적 추론 구성 요소를 수동으로 확장하거나 조정해야 합니다. 전통적인 데이터 기반 규칙 학습 방법(예: 귀납 논리 프로그래밍, ILP)은 일반적으로 대규모 데이터셋과 하드코딩된 탐색 공간(모드 선언)을 필요로 합니다. 본 논문은 광범한 재학습이나 수동 규칙 엔지니어링 없이도 ASP 기반 추론 이론을 자동화하여 확장하는 과제를 다룹니다.

방법론
저자들은 LLM이 퓨샷(few-shot) 예시를 바탕으로 ASP 규칙을 생성하거나 확장하도록 유도하는 선언적 지식 증류(declarative knowledge distillation) 프레임워크를 제안합니다. 이 시스템은 다음의 세 가지 단계로 구성된 모듈형 신경 기호적 VQA 파이프라인 내에서 작동합니다:

1. 시각 모듈: 이미지를 기호적 장면 그래프(ASP 사실/facts)로 변환합니다.
2. 언어 모듈: 자연어 질문을 기능적 프로그램(ASP 사실)으로 변환합니다.
3. 추론 모듈: ASP 솔버가 결합된 사실들과 ASP 이론(규칙들의 집합)으로부터 답을 도출합니다.

핵심 알고리즘(Algorithm 1)은 VQA 예시 $(s, q, a)$에 대한 증류 과정을 반복합니다. 현재의 ASP 이론 $T$가 주어진 장면 $s$와 질문 $q$에 대해 올바른 답 $a$를 도출하지 못할 경우, 시스템은 LLM에 간극을 메울 후보 규칙을 생성하도록 요청합니다. 이 과정은 다음과 같은 피드백 루프를 포함합니다:

• 프롬프팅 전략:
  • 멀티 프롬프팅(Multi-prompting): 단일 호출 내에서 여러 솔루션 변형을 요청합니다.
  • 생각의 사슬(Chain-of-Thought, CoT): LLM이 규칙을 생성하기 전 문제를 중간 논리 단계로 분해하도록 지시합니다 (단순 버전 및 복잡한 버전).
• 검증 및 수선(Mending):
  • 구문 수선(Syntax Mending): 만약 LLM이 구문적으로 유효하지 않은 ASP(예: 환각된 수학 기호)를 생성하면, 솔버의 에러 메시지가 LLM에 피드백되어 수정을 유도합니다.
  • 의미론적 수선(Semantic Mending): 규칙이 구문적으로는 정확하지만 오답을 생성하는 경우, 솔버의 잘못된 출력을 정답과 비교하여 LLM에 다시 전달하고 수정을 요청합니다.
  • 회귀 테스트(Regression Testing): 새로운 규칙이 일관성을 유지하고 회귀를 방지할 수 있도록 이전에 해결된 예시들에 대해 테스트합니다.
• 중복 제거: 휴리스틱(Algorithm 2)을 사용하여 답변 집합에 영향을 주지 않는 규칙을 가지치기함으로써, 증류된 이론이 압축된 상태를 유지하도록 합니다.

주요 기여

1. 선언적 지식 증류: LLM을 통계적 학습을 위한 데이터로 사용하는 대신, 예시를 통해 프롬프팅함으로써 VQA 시스템의 ASP 이론을 자동으로 확장하는 방법입니다.
2. 프롬프팅 전략: 논리 프로그램을 생성하기 위해 설계된 특정 프롬프팅 기술(멀티 프롬프팅, CoT) 및 수선 메커니즘(구문/의미론적 수선)의 설계와 평가를 수행했습니다.
3. 구성적 규칙 합성(Compositional Rule Synthesis): LLM이 기존 ASP 이론 내의 원시 연산들로부터 새로운 고차수 술어(예: in_between, connected)를 합성할 수 있음을 입증했습니다.
4. 실증적 평가: 세 가지 다양한 데이터셋에 걸친 포괄적인 평가를 수행했습니다:
   • GQA: 복잡한 객체 관계를 가진 실제 장면.
   • CLEVR: 구성적 질문을 가진 합성 기하학적 장면.
   • CLEGRV: 재귀적 추론(예: 최단 경로)이 필요한 그래프 기반 전이 네트워크.

결과
실험에서는 ASP 이론에서 제거된 술어들을 복구하는 작업을 대상으로 여러 LLM(GPT-4o, DeepSeek, Mistral-Large, LLaMA3-70B, Gemini-3 Pro)을 평가했습니다.

• 성능: 대규모 모델들(GPT-4o, DeepSeek, Gemini-3)은 매우 적은 예시(통상 증류 시도당 1~4개)만으로도 GQA와 CLEVR에서 완벽에 가까운 정확도(종종 >98%)를 달성했습니다.
• 데이터셋 복잡도: 더 복잡한 재귀를 포함하는 CLEGRV 데이터셋에서는 성능이 하락했으나, Gemini-3 Pro는 "고차원 추론(high reasoning)" 모드를 통해 높은 정확도(여러 술어에서 100%)를 유지했습니다.
• 모델 민감도: 상대적으로 작거나 능력이 낮은 모델(LLaMA3-70B, Mistral-Large)은 높은 변동성을 보였으며 복잡한 작업에 어려움을 겪었습니다. 흥로하게도, 이러한 모델들의 경우 복잡한 프롬프팅 전략(CoT 등)을 비활성화했을 때 오히려 성능이 향상되기도 했는데, 이는 모델이 지나치게 장황한 지시에 의해 "과부하"될 수 있음을 시사합니다.
• 효율성: Gemini-3 Pro가 가장 효율적이었으며, 가장 적은 예시와 토큰을 사용하면서도 중복이 적은 규칙 세트를 생성했습니다.
• 소거 연구(Ablation): 전체 프롬프팅 파이프라인(수선 + CoT + 멀티 프로프팅)은 최상위 모델들의 성능을 크게 높였지만, 성능이 낮은 모델들에게는 항상 필수적인 것은 아니었습니다.

의의 및 주장
본 논문은 LLM으로부터의 규칙 증류가 전통적인 데이터 기반 규칙 학습(ILP/SRL)에 대한 유망한 대안이라고 주장합니다. ILP가 명시적인 탐색 공간 정의와 대규모 데이터셋을 요구하는 것과 달리, 이 방식은 LLM의 암묵적 지식을 활용하여 단 몇 개의 예시만으로도 정확하고 일반화 가능한 규칙을 이끌어냅니다.

• 해석 가능성: 이 방법은 불투명한 신경망 가중치 대신 인간이 읽을 수 있는 논리 규칙을 생성함으로써 신경 기호적 시스템의 투명성을 보존합니다.
• 적응성: 작업 요구사항이 진화함에 따라 추론 모듈을 동적으로 확장할 수 있는 실행 가능한 메커니즘을 제공하며, 논리 프로그래밍을 위한 "대화형 코파일럿(copilot)" 역할을 합니다.
• 한계점: 저자들은 이 방법이 분해 가능하고 구성적인 질문 의미론을 가정하며, 형식적인 정당성 증명보다는 경험적 검증(회귀 테스트)에 의존한다는 점을 언급했습니다. 이 접근법은 현재 역량이 뛰어난 대규모 LLM에서 가장 효과적입니다.

이 연구는 LLM이 공식적인 추론 엔진을 대체하지는 못하더라도, 복잡한 AI 시스템에서 기호적 추론 구성 요소의 유지보수 및 확장을 자동화하는 가교 역할을 효과적으로 수행할 수 있음을 시사합니다.