Generate in the Chart, Not on the Boundary: Function-Symbol Grounding for Hard Constraints in LTN-GANs

인공지능의 세계에서 기계는 현실 세계의 패턴을 모방하는 데 놀라울 정도로 능숙해졌습니다. 기계는 가짜이지만 실제처럼 보이는 얼굴 사진을 생성하거나, 그럴듯하게 들리는 뉴스 기사를 지어내거나, 비행 일정 및 화학 반응에 대한 합성 기록을 만들어낼 수 있습니다. 이러한 도구들은 이론을 테스트하거나 다른 시스템을 훈련시키기 위해 더 많은 데이터가 필요한 과학자와 엔지니어들에게 매우 유용하며, 특히 실제 데이터가 부족하거나 공유하기에 너무 민상한 경우에 그러합니다. 하지만 여기에는 함정이 있습니다. 기계가 실물과 통계적으로 유사한 것을 만들어냈다고 해서, 그것이 현실을 지배하는 근본적인 규칙을 따른다는 의미는 아닙니다. 합성된 비행 기록은 비행기가 이륙하기도 전에 도착하는 모습을 보여줄 수 있으며, 화학 분자는 불가능한 에너지 균형을 가진 상태로 생성될 수도 있습니다. 이러한 오류들은 실제 데이터가 준수하는 물리 법칙과 논리의 엄격한 법칙을 위반합니다. 연구자들의 과제는 단순히 현실적으로 보이는 것을 넘어, 이러한 깨뜨릴 수 없는 규칙들을 엄격히 준수하여 믿을 만하면서도 논리적으로 타당한 데이터를 생성하는 생성기를 구축하는 것입니다.

수년 동안 이러한 논리적 오류를 해결하기 위한 표준적인 접근 방식은 이를 '부드러운 권고 사항'으로 취급하는 것이었습니다. 이 방법에서는 컴퓨터가 규칙을 어길 때마다 벌점을 부여하여 시간이 지남에 따라 더 잘하도록 유도합니다. 이 방식은 도움이 되기는 하지만 완벽을 보장하지는 못합니다. 기계는 여전히 가끔 실수를 저지를 수 있으며, 약간 더 보기 좋은 이미지를 얻기 위해 규칙 위반을 감수하기도 합니다. 더 최근의 더 엄격한 방법은 생성 과정의 끝에 위치하는 기계적 관문인 '제약 계층(constraint layer)'을 포함합니다. 만약 기계가 규칙을 어기는 샘플을 생성하면, 이 관문은 숫자를 딱 필요한 만큼만 변화시켜 샘ло가 유효하게 만듭니다. 이는 안전망처럼 작동하여 모든 출력이 기술적으로 정확함을 보장합니다. 그러나 에든버러 대학교의 니제쉬 우프레티(Nijesh Upreti)와 바이삭 벨(Vaishak Belle) 연구원은 이 안전망에 숨겨진 결함이 있다는 것을 발견했습니다. 그들은 이 관문이 샘플의 유효성을 보장할지는 몰라도, 데이터의 현실성을 만드는 미묘하고 자연스러운 변동성을 종종 파괴한다는 사실을 찾아냈습니다.

문제는 이러한 규칙들이 어떻게 적용되는지에 있습니다. 많은 과학적 규칙은 "온도는 0보다 커야 한다" 또는 "하차 시간은 승차 시간 이후여야 한다"와 같은 부등식입니다. 현실 세계에서 이러한 간격은 단순히 0이나 1이 아니라 자연스러운 분포를 가집니다. 비행은 몇 분 지연될 수 있고, 화학 반응은 작은 에너지 여유분을 가질 수 있습니다. 표준 안전 관문이 위반 사항을 수정할 때, 이는 샘플을 허용된 영역의 경계선 바로 위로 밀어 올려서 간격을 정확히 0으로 만듭니다. 이 방식은 조금이라도 잘못된 모든 샘플에 대해 동일하게 수행됩니다. 그 결과, 모든 항목이 유효하기는 하지만, 데이터의 자연스러운 분포는 사라진 데이터셋이 만들어집니다. 데이터는 체크리스트상으로는 완벽해 보이지만, 현실을 정의하는 미묘한 변동성이 하나의 점으로 찌그러졌기 때문에 평평하고 인위적으로 느껴집니다. 우프레티와 벨은 이를 '마진 분포의 붕괴(collapse of the margin distribution)'라고 부르며, 표준 테스트로는 이를 놓치기 쉬울 정도로 조용히 발생하여, 연구자들에게 겉보기에는 좋아 보이지만 근본적으로 왜곡된 데이터를 남긴다는 것을 보여주었습니다.

이를 해결하기 위해 연구진은 기계가 샘플을 구축하는 방식에 대한 새로운 사고방식을 개발했습니다. 샘플 전체를 생성한 후 규칙 위반 여부를 확인하는 대신, 그들은 설계도 자체를 바꾸었습니다. 그들은 '함수-기호 접지(function-symbol grounding)'라고 불리는 방법을 도입했는데, 이는 허용된 구역 내부의 좌표계 역할을 합니다. 기계가 더 이상 목표를 맞춘 뒤에 조준을 수정하려고 애쓰는 것이 아니라, 전체 안전 구역의 지도를 그리고 그 안에서 직접 한 지점을 선택하는 것과 같습니다. 기계는 제약이 없는 자유로운 숫자를 생성하고, 특정 수학 함수가 그 숫자를 유효함이 보장되는 값으로 변환합니다. 이 변환은 기준값에 작고 양수인 값을 더함으로써 이루어지며, 이를 통해 규칙이 구조적으로 충족되도록 합니다. 기계가 내부로부터 외부로 샘플을 구축하기 때문에, 강제로 조정하거나 클램핑(clamping)할 필요가 없습니다. 값들 사이의 자연스러운 변동성인 '마진'은 다른 데이터의 특징들과 마찬가지로 온전하게 유지되며 학습됩니다.

연구팀은 화학, 분자 특성, 택시 운행 기록을 포함한 네 가지 복잡한 고해상도 데이터셋을 대상으로 이 접근 방식을 테스트했습니다. 모든 경우에서 기존의 클램핑 방식은 100% 유효한 데이터를 생성했지만, 값들 사이의 간격 분포는 왜곡되었습니다. 그러나 새로운 방식은 역시 100% 유효한 데이터를 생성하면서도, 그 간격의 자연스러운 확산(spread)을 완벽하게 보존했습니다. 차이는 극명했습니다. 새로운 방식은 기존 방식에 비해 이러한 간격의 분포 오차를 최대 25배까지 줄였습니다. 또한 연구진은 훈련을 시작하기도 전에 기존 방식이 언제 실패할지를 예측할 수 있다는 것을 발견했습니다. 그들은 데이터의 크기와 규칙의 간격 크기를 기준으로 간단한 비율을 계산했습니다. 이 비율이 클 때, 즉 간격이 데이터에 비해 매우 작을 때, 기존 방식은 항상 분포를 붕괴시켰습니다. 새로운 방식은 이 비율에 관계없이 작동하며, 이러한 유형의 제약에 대한 보편적인 해결책 역할을 합니다.

이 연구는 실질적인 문제도 다루었습니다. 즉, '간격'이 매끄러운 곡선이 아니라 단일 지점인 정수나 이산적 범주를 포함하는 규칙은 어떻게 처리할 것인가 하는 점입니다. 연구진은 새로운 방식이 매끄럽고 연속적인 규칙에 가장 적합한 반면, 기존의 클램핑 방식이 이러한 이산적인 경우에 실제로 더 낫다는 것을 발견했습니다. 두 방식의 장점을 모두 취하기 위해, 그들은 하이브리드 시스템을 만들었습니다. 훈련을 시작하기 전, 시스템은 각 규칙을 분석하여 규칙이 매끄러운지 혹은 이산적인지를 판단하고, 그에 따라 최적의 도구를 자동으로 선택합니다. 매끄러운 규칙에는 새로운 '내부로부터의 구축' 방식을 사용하고, 이산적인 규칙에는 기존의 클램핑 방식을 사용합니다. 최고의 기존 벤치마크들과 비교했을 때, 이 하이브리드 시스템은 기존의 클램핑 방식이 실패했던 어려운 고해상도 사례에서 기존 방식을 크게 능가하는 동시에, 모든 데이터셋에서 기존 방식과 대등하거나 더 나은 성능을 보여주었습니다.

이 작업은 우리가 제약된 데이터를 생성하는 방식을 바꿉니다. 단순히 데이터를 유효하게 만드는 것만으로는 충분하지 않으며, 데이터의 변동성 또한 현실적이어야 한다는 것을 보여줍니다. 오류가 발생한 후에 이를 수정하는 시스템에서, 유효성을 데이터의 구조 자체에 내재시키는 시스템으로 전환함으로써, 연구진은 안전할 뿐만 아니라 그것이 나타내고자 하는 복잡하고 미묘한 현실을 충실히 반영하는 합성 데이터를 생성하는 방법을 만들어냈습니다. 이 연구 결과는 값들 사이의 미묘한 차이가 중요한 모든 응용 분야—새로운 분자를 설계하는 것부터 물류 계획을 세우는 것에 이르기까지—에서, 규칙을 기계의 아키텍처에 어떻게 접지(grounding)하느냐가 규칙 그 자체만큼 중요하다는 것을 시사합니다.