Neuro-symbolic learning over OWL 2 DL via consequence-based compilation to differentiable circuits

인공지능의 광활한 풍경 속에서, 두 가지 뚜렷한 전통이 기계가 세상을 이해하도록 만들기 위해 오랫동안 경쟁해 왔습니다. 딥러닝이라고 알려진 한 전통은 사진 속의 고양이를 식별하거나 손으로 쓴 숫자를 읽는 것과 같이 가공되지 않은 데이터에서 패턴을 인식하는 데 탁월합니다. 이 방식은 정답을 얻을 때까지 수백만 개의 내부 조절 장치를 조정하며 학습하지만, 세상을 지배하는 규칙에 대한 명확한 이해 없이 수행됩니다. 논리와 지식 표현에 뿌리를 둔 다른 전통은 "푸들"이 "개"의 일종이고 "개"가 "포유류"라는 것을 아는 디지털 백과사전처럼 엄격한 규칙으로 추론하는 시스템을 구축합니다. 이 시스템은 정밀하고 신뢰할 수 있지만, 이미지와 소리 같은 무질서하고 구조화되지 않은 현실과 연결되는 데 종종 어려움을 겪습니다. 수년 동안 연구자들은 이 두 가지 접근 방식을 결합하여 보고(see)와 추론(reason)을 모두 할 수 있는 "뉴로-심볼릭(neuro-symbolic)" 시스템을 만들기 위해 노력해 왔습니다. 문제는 복잡한 지식을 설명하는 데 사용되는 가장 강력한 논리 언어들이 신경망이 학습에 사용하는 수학적 언어로 번역하기가 매우 어렵다는 점이었습니다.

킹 압둘라 과학기술대학교(KAUST)의 연구팀은 특정하고 매우 복잡한 유형의 논리 체계를 위해 이 간극을 성공적으로 메우는 '바오밥(Baobab)'이라는 새로운 방법을 개발했습니다. 그들은 세상에 대한 상세한 논리적 기술(사물들이 어떻게 연관되는지, 얼마나 많은 사물이 존재할 수 있는지, 범주가 어떻게 겹치는지에 대한 규칙을 포함한)을 받아 이를 신경망이 학습에 사용할 수 있는 구조로 변환하는 컴파일러를 만들었습니다. 기존의 시도들이 논리 규칙을 너무 단순화하거나 아예 포기했던 것과 달리, 이 방법은 원래 규칙의 전체 복잡성을 보존합니다. 연구진은 신경 네트워크가 손으로 쓴 숫자의 이미지를 보고, 단순히 숫자를 파악하는 것을 넘어, 제공된 논리 규칙만을 바탕으로 해당 숫자가 소수(prime)인지 혹은 짝수(even)인지와 같은 숨겨진 논리적 속성까지 파악하도록 테스트했습니다. 이 시스템은 이미지 자체에 직접적인 단서가 없더라도 높은 정확도로 이러한 숨겨진 개념을 식별하는 법을 배웠습니다.

이 성과의 핵심은 연구진이 번역 과정을 처리한 방식에 있습니다. 그들은 개념들이 서로 어떻게 연관되어 있는지에 대한 진술들의 집합인 논리적 지식 베이스를 가져와 특정한 유형의 회로도로 컴파일했습니다. 이 도표는 신경 네트워크가 내린 예측이 논리 규칙에 부합하는지 확인하는 필터 역할을 합니다. 만약 네트워크가 어떤 숫자가 짝수이면서 동시에 소수라고 예측한다면(이는 숫자 2의 경우에만 해당함), 회로는 이를 허용합니다. 만약 네트워크가 어떤 숫자가 짝수이면서 동시에 홀수라고 예측한다면, 회로는 그 가능성을 거부합니다. 이 검사 과정을 수백만 번 반복함으로써, 시스템은 이미지가 명시적으로 관계를 라벨링하지 않더라도 신경 네트워크가 올바른 논리적 관계를 학습하도록 유도할 수 있습니다. 연구진은 이 번역이 수학적으로 타당함을 입증했으며, 이는 회로가 정보의 손실이나 오류 없이 원래의 논리 규칙을 정확하게 반영함을 의미합니다.

연구의 가장 중요한 발견 중 하나는 이러한 하이브로 시스템에서 흔히 발생하는 "추론 지름길(reasoning shortcut)"이라는 문제와 관련이 있습니다. 기계에게 여러 가지 가능한 정답이 있는 과제가 주어지면, 기계는 종종 하나의 정답만을 선택하고 나머지는 무시함으로써 문제를 해결하는 방식을 찾아내며, 결과적으로 논리 체계를 우회해 버립니다. 예를 들어, 어떤 규칙이 장면의 여러 가지 가능한 구성을 허용할 때, 표준 신경 네트워크는 하나의 구성에 고착되어 다른 유효한 구성들이 존재한다는 사실을 인식하지 못할 수 있습니다. 연구진은 새로운 방법이 모든 가능한 유효한 구성을 사용하여 네트워크에 초기값을 제공하는 특정 기술과 결합될 때, 이러한 지름길을 극복할 수 있다는 것을 발견했습니다. 시스템은 단 하나의 잠재적으로 틀린 답으로 붕괴하는 대신, 모든 올바른 가능성에 대한 확률 분포를 유지하는 법을 배웠으며, 이전의 어떤 방법도 도달하지 못한 수준의 정확도를 달ras했습니다.

연구팀은 두 가지 별개의 데이터셋을 사용하여 그들의 접근 방식을 입증했습니다. 첫 번째 실험에서는 MNIST 데이터셋의 손으로 쓴 숫자 이미지를 사용했습니다. 그들은 숫자들이 사슬처럼 연결되어, 한 숫자가 다른 숫자에 의해 뒤따를 때 특정 관계가 성립해야 한다는 논리 체계를 설정했습니다. 신경 네트워크는 숫자 쌍의 이미지를 보여주었지만 실제 숫자는 알려주지 않았습니다. 대신, 한 숫자가 짝수이고 다른 숫자가 소수라는 것과 같은 몇 가지 논리적 단서가 주어졌습니다. 논리 회로를 통해 네트워크는 숫자의 정확한 정체를 거의 완벽한 정확도로 추론해 냈으며, 무작위 추측률인 25퍼센트에서 99퍼센트로 상승했습니다. 두 번째 실험에서는 동일한 방법을 합성 피자 이미지 데이터셋에 적용했습니다. 시스템은 이미지에 보이는 토핑과 그 카테고리를 정의하는 논리 규칙을 바탕으로 "채식주의자용" 또는 "매운맛"과 같은 숨겨진 피자 카테고리를 식별하는 법을 배웠으며, 역시 논리 회로를 사용하지 않은 시스템보다 뛰어난 성능을 보였습니다.

연구진은 또한 자신들의 방법이 생물학적 데이터베이스나 시맨틱 웹에서 사용되는 수준의 복잡한 버전의 논리 언어와도 작동한다는 것을 보여주었습니다. 여기에는 항목이 얼마나 많이 연결될 수 있는지에 대한 규칙과 관계의 방향성에 대한 규칙 등이 포함됩니다. 이전의 시도들은 신경 네트워크와 이 정도 수준의 복잡성을 결합할 때 규칙의 의미를 잃을 정도로 너무 많이 단순화해야 했습니다. 그러나 바오밥은 단순화 없이 전체 복잡성을 처리했습니다. 연구진은 컴파일러의 정확성을 형식적 증명 시스템(논리에서 회로로의 번역이 결함이 없음을 보장하는 엄격한 수학적 검증)을 사용하여 검증했습니다. 또한 기존 방법들과 비교했을 때, 더 단순하고 표현력이 낮은 형태의 논리에 국한되었던 기존 방법들은 실험에 사용된 논리 규칙의 상당 부분을 처리할 수 없었다는 점을 발견했습니다.

연구의 중요한 부분은 여러 유효한 답이 존재하는 문제를 다루는 것이었습니다. 많은 현실 세계의 시나리오에서 제공된 정보는 단 하나의 고유한 해답을 결정하기에 충분하지 않습니다. 예를 들어, 어떤 사람이 남성 또는 여성이라는 규칙이 있고, 우리가 그 사람이 이성 배우자와 결혼했다는 것을 알고 있다면, 부부의 성별에 대해서는 여전히 두 가지 유효한 가능성이 존재합니다. 표준 신경 네트워크는 여기서 실패하여 임의로 하나의 가능성을 선택하고 그것을 유일한 진실로 취급하곤 합니다. 연구진은 다양한 논리적 경로(각각의 유효한 가능성에 대응하는 경로)를 사용하는 것을 통해, 시스템이 모든 정답을 동시에 표현할 수 있다는 것을 발견했습니다. 이를 통해 시스템은 데이터를 강제로 확정 짓는 대신, 실제 불확실성을 반영하는 교정된 확률을 제공할 수 있었습니다. 이러한 능력은 진단 결과 중 하나를 식별하는 것만큼이나 가능한 진단의 범위를 이해하는 것이 중요한 의료 분야와 같은 곳에서 필수적입니다.

연구는 이러한 시스템의 실질적인 한계도 강조했습니다. 이 방법은 강력하지만, 논리 회로의 크기는 문제의 복잡성이 증가함에 따라 급격히 커집니다. 피자 유형의 전체 온톨로지를 포함한 한 테스트에서, 연구진은 전체 규칙을 회로로 컴파일하는 데 표준 컴퓨터에서 사용 가능한 것보다 더 많은 메모리가 필요하다는 것을 발견했고, 결국 최종 학습을 위해 규칙의 단순화된 하위 집합을 사용해야 했습니다. 이는 이 방법이 이론적으로는 타당하고 많은 문제에 효과적이지만, 가장 크고 복잡한 지식 베이스로 확장하기 위해서는 추가적인 엔지니어링 발전이 필요함을 시사합니다. 그럼에도 불구하고, 단순화된 피자 데이터셋과 숫자 인식 작업에 대한 성공적인 적용은 이 접근 방식이 실질적인 데이터에 대해 실행 가능하고 효과적임을 입증합니다.

이 연구의 함의는 단순히 더 나은 이미지 인식을 넘어섭니다. 이는 인공지능이 과학적 데이터베이스에 있는 풍부하고 구조화된 지식을 학습 과정에 직접 통합할 수 있는 경로를 제시합니다. 이는 미래의 AI 시스템이 이미지를 통해 학습하는 동시에 생물학, 화학 또는 물리학의 엄격하고 검증된 규칙을 준수할 수 있음을 의미합니다. 기계의 예측이 항상 확립된 과학적 지식과 일치하도록 보장함으로써, 이 접근 방식은 오류가 심각한 결과를 초래할 수 있는 고위험 분야에서 더욱 신뢰할 수 있고 믿을 수 있는 AI를 만드는 데 기여할 수 있습니다. 연구진은 자신들의 코드와 도구를 공개하여 다른 이들이 이 토대 위에 구축하고, 논리와 학습의 통합이 어디까지 갈 수 있는지 탐구할 수 있도록 초대했습니다.

궁극적으로, 이 연구는 패턴 인식과 논리적 추론 사이의 간극을 어느 한 쪽의 강점을 희생하지 않고도 메울 수 있음을 보여줍니다. 복잡한 논리 규칙을 신경 네트워크가 처리할 수 있는 형식으로 변환함으로써, 연구진은 데이터뿐만 아니라 지식의 구조로부터 학습하는 시스템을 만들어냈습니다. 숨겨진 개념을 복구하고, 추론 지름길을 피하며, 현대의 복잡한 논리 언어의 전체 복잡성을 다루는 능력은 관찰하는 세상에 대해 진정으로 추론하는 기계를 만들기 위한 여정에서 중요한 진전입니다. 결과는 적절한 도구가 있다면 인공지능이 단순히 패턴을 인식하는 것을 넘어, 그 패턴을 지배하는 관계와 규칙에 대해 진정으로 추론할 수 있음을 시사합니다.