🤖 AI

Accelerating NeurASP with vectorization and caching

이 논문은 벡터화, 배치 처리 및 캐싱을 구현함으로써 뉴로심볼릭 프레임워크인 NeurASP의 확장성을 향상시키며, 이를 통해 새로운 도전적인 카드 게임 데이터셋을 통해 검증된 수십 배 이상의 훈련 속도 향상을 달성한다.

원저자: Alexander Philipp Rader, Alessandra Russo

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alexander Philipp Rader, Alessandra Russo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 그림: 로봇에게 생각하는 법 가르치기

당신이 로봇에게 카드 게임을 하는 법을 가르치고 있다고 상상해 보세요. 당신에게는 카드의 사진을 보고 그것이 무엇인지 추측하는 신경망(로봇의 '직관')이 있습니다. 또한 그 추측을 바탕으로 최종 점수를 계산하는 논리 규칙(로봇의 '두뇌' 또는 '규칙 책')이 있습니다.

문제는 당신이 오직 최종 점수(예: "합계는 15이다")만 알고 있다는 점입니다. 로봇이 각 개별 카드에 대해 무엇이라고 추측했는지(예: "저것이 하트 7인가, 아니면 스페이드 3인가?")는 알 수 없습니다.

과거에는 NeurASP라고 불리는 프레임워크가 이 과정을 학습하기 위해, 점수가 15가 되는 가능한 모든 카드 조합을 하나하나 추측하고, 어떤 것이 맞는지 확인한 뒤, 로봇의 직관을 조정하는 방식을 사용했습니다. 하지만 이 과정은 마치 해변의 모래알을 하나하나 세는 것과 같았습니다. 너무 느려서 복잡한 작업의 경우, 컴퓨터는 작업을 마치기도 전에 시간이 초과되어 그냥 포기해 버리곤 했습니다.

이 논문은 이 과정을 수천 배 더 빠르게 만들어, 이전에는 불가능했던 복잡한 카드 게임을 로봇이 학습할 수 있게 해주는 강력해진 버전의 NeurASP를 소개합니다.

세 가지 병목 현상 (그리고 이를 해결한 방법)

저자들은 기존 시스템이 왜 그렇게 느렸는지 세 가지 주요 원인을 찾아냈고, 각각을 영리한 트릭으로 해결했습니다.

1. "계산기" 문제 (벡터화)

과거 방식: 선생님이 학생에게 숫자를 곱하는 법을 가르친다고 상상해 보세요. 기존의 NeurASP 코드는 학생에게 숫자를 하나씩, 긴 줄을 서서 계산하도록 시켰습니다. "2 곱하기 3을 해라. 좋아, 이제 거기에 4를 곱해라. 좋아, 이제 5를 곱해라..." 이는 매우 느립니다.
새로운 방식: 저자들은 컴퓨터에게 **벡터화(Vectorization)**를 가르쳤습니다. 숫자를 하나씩 계산하는 대신, 숫자 더미 전체를 한꺼번에 곱할 수 있는 거대한 계산기를 준 것입니다. 이는 마치 외길 비포장도로에서 10차선 고속도로로 바꾸는 것과 같습니다.

결과: 확률과 그래디언트(학습에 필요한 수학적 계산)를 계산하는 속도가 100배에서 1,000배 더 빨라졌습니다.

2. "도서관" 문제 (캐싱)

과거 방식: 당신이 퍼즐을 풀고 있다고 상상해 보세요. 퍼즐 조각을 볼 때마다 도서관에 가서 그 특정 조각에 대한 해답을 찾고, 적어둔 뒤, 다시 돌아옵니다. 설령 똑같은 퍼즐 조각을 1,000번 보더라도, 1,000번 모두 도서관에 다녀와야 합니다.
새로운 방식: 저자들은 퍼즐 조각의 해답이 특정 카드의 모습이 아니라 최종 점수에 달려 있다는 것을 깨달았습니다. 최종 점수가 "15"라면, 가능한 카드 조합은 카드가 어떻게 생겼든 항상 동일합니다.
그들은 **캐시(Cache, 개인용 수첩)**를 만들었습니다. 처음으로 점수 "15"를 발견했을 때, 도서관에 가서 답을 찾은 뒤 수첩에 적어둡니다. 그다음 999번 "15"를 보게 되면, 도서관에 가는 대신 수첩을 확인합니다.

결 결과: 도서관에 답을 30,000번 묻는 대신, 단 19번(모든 가능한 점수마다 한 번씩)만 물어보았습니다. 이로 인해 엄청난 시간을 절약했습니다.

3. "배달" 문제 (배칭)

과거 방식: 기존의 코드는 택배 기사가 물건 하나를 배달하고, 다시 창고로 돌아가 다음 물건을 챙겨서 다시 나가는 것과 같았습니다.
새로운 방식: 새로운 코드는 **배치 처리(Batch Processing)**를 사용합니다. 트럭 한 대 분량의 화물(데이터)을 통째로 싣고 한 번에 배달합니다. 이는 대규모 데이터셋에서 훨씬 효율적입니다.

새로운 도전 과제: "카드 산술"

저자들은 자신들의 새로운 시스템이 작동함을 증명하기 위해, **카드 산술(Card Arithmetic)**이라는 새롭고 어려운 테스트를 만들었습니다.

기존 테스트: 이전 테스트들은 단순한 숫자(0~9 사이의 두 자릿수 더하기 등)를 사용했습니다. 이는 2 + 3을 하는 것과 같았습니다.
새로운 테스트: 그들은 실제 playing card 사진을 사용했습니다. 52개의 서로 다른 카드(스페이드 에이스, 하트 2 등)가 있으며, 규칙에는 이들의 값을 곱하고 더하는 과정이 포함됩니다.
난이도: 단 한 번의 게임에서도, 올바른 합계를 만들기 위해 카드가 배치될 수 있는 방법은 수만 가지에 달할 수 있습니다.

결과

실험을 실행했을 때:

속도: 새로운 시스템은 기존 시스템이 며칠, 몇 주, 혹은 몇 달이 걸렸을 작업을 몇 분 만에 끝냈습니다. 어떤 경우에는 기존 시스템이 너무 느려 작업을 마치기도 전에 타임아웃(시간 초과)으로 멈춰버렸습니다.
정확도: 새로운 시스템은 52개의 서로 다른 카드가 가진 엄청난 복잡성에도 불구하고 높은 정확도를 달달하며 카드 게임을 성공적으로 학습했습니다.
비교: 저자들은 자신들의 시스템을 Embed2Sym이라는 다른 프레임워크와 비교했습니다. Embed2Sym은 단순한 작업에는 뛰어났지만, 엄청난 수의 가능성을 해결하려다 막혀버려 카드 게임에서는 완전히 실패했습니다. 반면 NeurASP는 이를 쉽게 처리했습니다.

특이점: "추론 지름길"

논문은 흥계로운 사실도 발견했습니다. 때때로 로봇이 최종 점수는 맞혔지만, 개별 카드는 틀리게 추측하는 경우가 있었습니다.

비유: 규칙이 "클럽 3(값 6) + 스페이드 2(값 6) = 12"라고 가정해 봅시다. 로봇은 "하트 6 + 다이아몬드 6 = 12"라고 추측할 수 있습니다. 수학적 결과는 맞혔지만, 카드는 틀린 것입니다.
서로 다른 카드들이 수학적으로 같은 값을 가질 수 있기 때문에, 로봇은 카드의 진짜 정체를 배우지 않고도 정답을 맞히는 '지름길'을 찾아낸 것입니다. 이는 시스템이 빠르긴 하지만, 때로는 문제를 푸는 데 있어 기술적으로는 부정확하지만 영리한 편법을 사용한다는 것을 보여줍니다.

요약

저자들은 AI에게 논리와 규칙을 가지고 추론하는 법을 가르치는 느리고 투박한 시스템을 가져와서, 여기에 터보 엔진을 달았습니다. 수학을 더 잘 조직하고(벡터화), 과거의 답을 기억하게 함으로써(캐싱), 단순한 덧셈조차 겨우 처리하던 시스템을 아주 짧은 시간 안에 복잡한 카드 게임을 마스터할 수 있는 시스템으로 탈바꿈시켰습니다.

기술 요약: 벡터화 및 캐싱을 통한 NeurASP의 가속화

문제 정의
NeurASP와 같은 뉴로심볼릭(Neurosymbolic) AI 프레임워크는 개념 인식을 위한 신경망과 기호적 추론을 위한 답변 집합 프로그래밍(ASP)을 결합합니다. 기존 NeurASP 구현의 결정적인 한계는 계산 비효적인성으로, 이는 복잡한 작업으로의 확장성을 저해합니다. 이 프레임워크는 다운스트림 레이블(사용 가능)로부터 잠재 개념(사용 불가능)으로 학습 신호를 역전파하기 위해 시맨틱 손실(semantic loss)에 의존합니다. 이 과정은 세 가지 비용이 많이 드는 단계를 필요로 합니다: 다운스트림 레이블을 만족하는 모든 가능한 답변 집합(잠재적 조합)을 계산하고, 각 답변 집합의 확률을 신경망 확신도(neural confidences)를 기반으로 계산하며, 이 확률들에 대한 그래디언트(gradient)를 계산하는 것입니다.

더 도전적인 데이터셋에 NeurASP를 적용했을 때 빈번하게 타임아웃이 발생했습니다. 저자들은 이러한 실패가 프레임워크의 이론적 한계 때문이 아니라, 확률 및 그래디언트 계산을 위한 나이브한 중첩 루프(nested loops)와 최적화되지 않은 답변 집합 생성 캐싱 전략을 특징으로 하는 불완전한 구현 때문이라고 설명합니다.

방법론 및 기술적 개선 사항
저자들은 세 가지 주요 기술적 수정을 통해 이러한 병목 현상을 해결하는 향상된 NeurASP 구현을 제안합니다.

벡터화(Vectorization): 기존 구현은 답변 집합에 대한 확률(식 1)과 그래디언트(식 2)를 계산하기 위해 중첩된 파이썬 루프를 사용했습니다. 새로운 구현은 이러한 루프를 벡터화된 PyTorch 텐서 연산으로 대체합니다. 신경망 확신도를 2D 텐서로 쌓고 인덱싱 및 리덕션 함수(예: prod, sum)를 활용함으로써, 시스템은 모든 해석(interpretations)과 답변 집합을 반복적으로 처리하는 대신 동시에 처리합니다.
답변 집합 캐싱(Answer Set Caching): 기존 코드는 데이터셋 예시당 답변 집합을 캐싱하여 여전히 모든 훈련 인스턴스에 대해 ASP 솔버(Clingo) 호출을 요구했습니다. 저자들은 답변 집합이 특정 입력 데이터가 아닌 다운스트림 레이블에만 의un존한다는 점을 관찰했습니다. 결과적으로, 새로운 구현은 답변 집합을 고유한 다운스트림 레이블당 캐싱합니다. 30,000개의 예시가 있지만 고유 레이블이 19개뿐인 데이터셋(예: MNIST 덧셈 합 0–18)의 경우, Clingo 호출 횟수를 30,000회에서 19회로 줄여줍니다.
인프라 강화: 대규모 실험을 지원하기 위해, 프레임워크는 데이터 로더를 통한 배치 프로세싱, 하이퍼파라미터 튜닝을 위한 검증 세트, 재현성을 위한 랜덤 시딩, 그리고 광범위한 JSON 로깅을 포함하도록 리팩토링되었습니다. 기능적 정확성을 보장하기 위해 유닛 테스트도 추가되었습니다.

실험 결과
저자들은 합성 데이터와 표준 MNIST 기반 작업(Addition, Member) 및 플레이잉 카드 이미지를 포함한 새로운 더 복잡한 데이터셋인 "Card arithmetic"을 포함한 벤치마크 작업을 사용하여 향상된 프레임워크를 평가했습니다.

합성 데이터 속도 테스트: 답변 집합의 수를 변화시키며(100개에서 1,000,000개까지) 합성 데이터로 테스트했을 때, 향상된 NeurASP는 기존 NeurASP에 비해 확률 계산에서 2개 차수(two orders of magnitude), 그래디언트 계산에서 3개 차수의 속도 향상을 보여주었습니다. 또한, 부분적 루핑을 계속 사용하는 SLASH(NeurASP의 최근 확장판)보다 그래디언트 계산에서 평균 100배 더 빠른 성능을 보였습니다.
벤치마크 실행 시간: 실제 데이터셋에 대한 개선 효과는 극적이었습니다. "Member 5" 작업(50,000개 답변 집합)의 경우, 기존 NeurASP는 4시간 이상이 소요되었으나 향상된 버전은 12분 만에 완료되었습니다. 가장 복잡한 "Card sum 4" 작업(40,130개 답변 집합)의 경우, 기존 NeurASP와 SLASH는 며칠 또는 몇 주가 걸리거나 타임아웃될 것으로 추정되었으나, 향상된 NeurASP는 약 18시간 만에 훈련을 완료했습니다.
정확도 및 확장성: 향상된 NeurASP는 Card arithmetic 작업(예: Card sum 4에서 86%의 잠재 정확도)에서 높은 다운스트림 및 잠재 정확도를 달rat했습니다. 이는 경쟁 프레임워크인 Embed2Sym이 타임아웃되었던 문제를 성공적으로 해결한 것입니다. Embed2Sym은 개념에 52개의 클러스터를 할당하는 최적화 단계에서 조합 폭발( $52!$ 솔루션)이 발생하여 Card 작업에서 실패했습니다. NeurASP는 "Card prodsum" 작업에서 (서로 다른 카드 조합이 동일한 값을 생성하여 잠재 정확도의 변동성을 높이는) "추론 지름길(reasoning shortcuts)" 문제로 어려움을 겪었지만, 합리적인 시간 내에 수렴할 수 있었던 유일한 프레임워크였습니다.

핵심 기여

알고리즘 최적화: 벡터화된 확률 및 그래디언트 계산과 레이블 기반 답변 집합 캐싱 메커니즘의 도입을 통해 계산 시간을 여러 차수만큼 단축했습니다.
새로운 데이터셋: 표준 MNIST/CIFAR 벤치마크를 넘어 고해상도 플레이잉 카드 이미지와 52개의 잠재 개념을 특징으로 하는, 뉴로심볼릭 확장성의 한계를 테스트하기 위해 설계된 "Card arithmetic" 데이터셋을 생성했습니다.
프레임워크 현대화: 배치 프로세싱, 재현성 및 견고한 로깅을 지원하도록 NeurASP 코드베이스를 완전히 리팩토링하여 광범위한 실험이 가능하도록 만들었습니다.

의의
본 논문은 이러한 개선이 NeurASP를 단순한 인지 작업에 국한된 프레임워크에서 수만 개의 답변 집합과 수십 개의 잠재 개념을 다룰 수 있는 확장 가능한 도구로 변화시킨다고 주장합니다. 훈련 시간을 몇 달에서 몇 시간으로 단축함으로써, 이 연구는 더 정교한 실세계 문제에 NeurASP를 적용할 수 있게 합니다. 또한, Card arithmetic 작업에서의 성공적인 훈련은 시맨틱 손실이 고복잡도 잠재 공간에서 학습을 효과적으로 가이드할 수 있음을 입증하지만, 저자들은 시맨틱 손실의 휘발성과 추론 지름길의 출현이 향후 조사해야 할 과제로 남아 있다고 언급합니다. 저자들은 자신들의 작업이 뉴로심볼릭 AI 분야에서 NeurASP와 시맨틱 손실의 강점 및 한계에 대한 추가 연구를 위한 길을 열었다고 결론짓습니다.