🤖 machine learning

Internalizing Geometric Law: Learning from Solver Residuals for Precision-Critical Generation

이 논문은 프로그래머블 기하학적 DSL이자 벤치마크인 PyGeoX를 소개하고, 기하학적 합성에서의 "아웃라이어 그래디언트 마스킹(Outlier Gradient Masking)" 실패 모드를 극복하기 위해 포화 가산 보상(Saturating Additive Rewards, SAR)을 제안하며, 이를 통해 8B 모델이 MSE 기반 베이스라인을 크게 능가하고 정밀도가 중요한 제약 조건 충족 작업에서 더 큰 프런티어 시스템들과 경쟁할 수 있게 한다.

원저자: Rafael Cabral, Pang Zixi, Ziyi Shou, Shen Xin

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rafael Cabral, Pang Zixi, Ziyi Shou, Shen Xin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 천재적이지만 약간은 덜렁대는 예술가에게 다리 설계도를 그리는 법을 가르치고 있다고 상상해 보세요. 그 예술가는 말로 다리를 아름답게 묘사할 수도 있고, 그것을 그리기 위한 코드를 작성할 수도 있습니다. 하지만 만약 예술가가 아주 작은 실수 하나라도 한다면—예를 들어 지지대를 1밀리미터 짧게 그린다면—실제 세상에서 그 다리는 무너질 수도 있습니다.

이 논문은 인공지능(AI)에게 글로 된 지시사항을 바탕으로 원, 선, 다각형과 같은 기하학적 도형을 그릴 때 발생하는 그러한 작고 치명적인 실수를 범하지 않도록 가르치는 방법에 관한 것입니다.

이들의 발견을 쉽게 설명하면 다음과 같습니다.

문제점: "전부 아니면 전무(All-or-Nothing)"의 함정

연구진은 표준적인 방법으로 AI를 가르치려 했습니다. 즉, 그림을 검사한 뒤, 모든 것이 완벽하면 금메달(보상)을 주고, 단 하나의 작은 부분이라도 틀리면 0점을 주는 방식이었습니다.

그들은 이 접근 방식에서 **"아웃라이어 그래디언트 마스킹(Outlier Gradient Masking)"**이라 부르는 중대한 결함을 발견했습니다.

비유: 당신이 10문항이 있는 시험을 보고 있다고 상상해 보세요.

기존 방식 (전역 규범): 9문제를 맞히고 10번째 문제를 틀렸다면, 선생님은 점수로 0점을 줍니다. 점수가 0점이기 때문에, 선생님은 당신이 맞힌 9문제가 무엇인지 알려주지 않습니다. 당신은 아무것도 배우지 못하며, 어떻게 개선해야 할지도 알 수 없습니다.
현실: 복잡한 기하학에서는 모든 것을 즉시 완벽하게 해내는 것이 매우 어렵습니다. AI는 90% 정도 맞혔음에도 계속해서 "0점"을 받았기 때문에, 자신의 부분적인 성공으로부터 배울 수 없어 정체 상태에 빠졌습니다나.

해결책: "포화 가산 보상(Saturating Additive Reward, SAR)"

이를 해결하기 위해 연구진은 SAR라고 불리는 새로운 채점 방식을 발명했습니다.

비유: 전체 시험에 대해 단 하나의 점수만 주는 대신, 이제 선생님은 AI가 맞힌 모든 개별 문제에 대해 작은 "감사"를 전합니다.

만약 AI가 10개의 선 중 9개를 완벽하게 그렸다면, 9번의 작은 보상을 받습니다.
이는 AI에게 동기를 부여하며, 어떤 부분이 잘 되었고 어떤 부분을 수정해야 하는지 정확히 보여줍니다.
또한, 전체 그림을 완벽하게 완성했을 때 "보너스"를 추가하여, AI가 단계별로 나아가면서도 여전히 금메달을 목표로 삼을 수 있도록 했습니다.

새로운 도구: PyGeoX

이것을 가능하게 하기 위해 팀은 PyGeoX라는 새로운 "놀이터"를 구축했습니다.

PyGeoX를 특수한 컴퓨터 언어를 사용하는 매우 엄격한 기하학 선생님이라고 생각하세요.
AI는 도형(예: 원 안의 오각형)을 그리는 프로그램을 작성합니다.
PyGeoX는 그림을 즉시 검사합니다. 단순히 "좋음" 또는 "나쁨"이라고 말하는 것이 아니라, 선들이 얼마나 벗어났는지(잔차, residuals)를 정확히 측정하고 그 정밀한 피드백을 AI에게 다시 전달합니다.
결정적으로, AI는 계산을 위해 PyGeoX를 이용할 수 없습니다. AI는 스스로 좌표를 찾아내야 하며, 이는 AI가 단순히 공식을 복사하는 것이 아니라 기하학의 법칙을 실제로 학습하도록 강제합니다.

결과

팀은 80억 개의 파라미터를 가진 AI 모델(매우 똑똑하지만 가장 큰 규모는 아닌 모델)을 대상으로 이 새로운 방법을 테스트했습니다.

이전: AI는 어려운 기하학 문제에서 어려움을 겪었으며, 근접한 실패로부터 배우지 못해 자주 실패했습니다.
이후: 새로운 "SAR" 채점 시스템을 통해, AI는 가장 어려운 문제들을 해결하는 능력이 2.3배 더 향상되었습니다.
놀라운 점: 이 새로운 방식으로 훈련된 상대적으로 작은 규모의 AI가, 구체적인 훈련 없이 추측만 하는 훨씬 더 크고 비싼 AI 시스템만큼 혹은 그보다 더 뛰어난 성능을 보였습니다.

핵심 요점

이 논문은 엔지니어링이나 디자인 분야에서 AI에게 정밀함을 가르치려면, 99%를 맞혔을 때 단순히 "실패했다"라고 말해서는 안 된다는 것을 보여줍니다. 대신, "이 5개 부분은 완벽하지만, 저 2개 부분은 수정이 필요하다"라고 말해주어야 합니다. 피드백을 작고 관리 가능한 조각들로 나눔으로써, AI는 기하학의 규칙을 내면화하고 기초부터 정밀하고 작동 가능한 설계를 만들어낼 수 있습니다.

연구진은 다른 이들이 기술적인 과업을 위해 이 방법을 사용할 수 있도록 자신들의 도구, 테스트 문제, 그리고 데이터를 모두 공개했습니다.

기술 요약: 솔버 잔차(Solver Residuals)를 통한 기하학적 법칙의 내재화

문제 정의

대규모 언어 모델(LLM)은 기하학적, 물리적 또는 논리적 법칙을 엄격하게 준수해야 하는 영역에서 "정밀도 환각(precision hallucination)" 현상을 보입니다. 모델은 구문론적으로 일관되고 의미론적으로 그럴듯한 출력을 생성할 수 있지만, 정확한 메트릭 제약 조건(예: 수직, 접함, 특정 길이)을 충족하는 데는 자주 실패합니다. 기존의 접근 방식은 추론을 외부의 기호적 또는 수치적 솔버에 위임하며, 이로 인해 LLM은 자연어를 솔버 전용 도메인 특화 언어(DSL)로 번역하는 역할로 축소됩니다. 이러한 위임은 모델이 공간적 논리를 내재화하는 것을 방해하며, 결과적으로 모델이 사전 정의된 어휘 범위를 벗어난 새로운 제약 조건에 직면했을 때 취약하게 만듭니다.

본 논문이 다루는 구체적인 과제는 **기하학적 제약 조건 해결(Geometric Constraint Solving, GCS)**입니다. 이는 자유 형식의 자연어 설명을 수십 개의 상호 작용하는 제약 조건을 동시에 만족하는 정확한 메트릭 좌표(점의 위치, 원의 반지름 등)를 출력하는 정밀한 파이썬 프로그램으로 변환하는 작업입니다. 스칼라 값이나 정리 증명에 집중하는 이전의 벤치마크와 달리, 이 작업은 모든 관계형 제약 조건이 엄격한 허용 오차( $\|r\|_2^2 < 10^{-3}$ ) 내에서 충족되는 완전한 기하 구조를 구축하는 것을 요구합니다.

방법론

PyGeoX 프레임워크

저자들은 선언적 의도와 미분 가능한 최적화를 연결하도록 설계된 프로그래밍 가능한 기하학적 DSL 및 엔진인 PyGeoX를 소개합니다.

아키텍처: PyGeoX는 "선언적-기호적-미분 가능(Declarative-to-Symbolic-to-Differentiable)" 파이프라인으로 작동합니다. 고수준의 기하학적 설명을 입력받아 이를 기호적 제약 방정식(SymPy 사용)으로 컴파일하고, 이를 단일 미분 가능한 오차 함수 $E(u)$ 로 집계합니다.
기능: 이 엔진은 35개의 객체 유형과 38개의 관계를 지원하며, 전통적인 연역 엔진에서는 지원되지 않는 경우가 많은 복잡한 대수적 제약(예: "오각형의 둘레가 원의 넓이와 같다") 및 부등식 제약을 포함합니다.
훈련에서의 역할: PyGeoX는 오프 폴리시(off-policy) 방식으로만 사용됩니다. PyGeoX는 훈련 데이터를 절차적으로 생성하고, 강화 학습(RL) 보상 평가 과정에서 제약 조건별 잔차를 계산합니다. 추론 시 LLM은 PyGeoX 라이브러리에 절대 접근할 수 없으며, 이를 통해 모델이 API 구문을 배우는 것이 아니라 기하학적 법칙을 학습하도록 강제합니다.

보상 설계: 이상치 그래디언트 마스킹 및 SAR

본 논문의 핵심 기여는 검증 가능한 보상이 있는 표준 강화 학습(RLVR)에서 발생하는 **이상치 그래디언트 마스킹(Outlier Gradient Masking)**이라는 실패 모드를 식별한 것입니다.

문제점: 표준 글로벌 노름 보상(예: $R = \exp(-\|r\|_2^2)$ )은 모든 제약 잔차를 하나의 스칼라 값으로 집계합니다. 고차원 제약 공간에서, 심하게 위반된 단 하나의 제약 조건(이상치)은 글로벌 노름을 거의 0으로 수렴시켜 다른 만족된 제약 조건들의 보상 신호를 붕괴시킵니다. 이러한 "전부 아니면 전무(all-or-nothing)" 식의 스케일링은 정책 그래디언트를 무력화하여 모델이 부분적인 진전으로부터 학습하는 것을 방해합니다.
해결책 (SAR): 저자들은 **포화 가산 보상(Saturating Additive Rewards, SAR)**을 제안합니다. 잔차를 전역적으로 집계하는 대신, SAR은 각 제약 조건에 대해 독립적이고 유계된 커널의 합으로 보상을 분해합니다:
$R_{SAR}(r) = \sum_{i=1}^{C} \phi(r_i)$
여기서 $\phi$ 는 단조 감소하는 커널(예: 볼츠만 $\phi(r) = e^{-r/T}$ )입니다. 이는 다른 제약 조건이 위반되더라도 만족된 제약 조건에 대한 비제로(non-zero) 그래디언트 신호가 유지되도록 보장합니다.
복합 보상: "보상 정체(reward plateau)"(부분적 만족은 높지만 정확한 해에 도달하지 못하는 현상)와 "기하학적 퇴화(geometric degeneracy)"(모든 점을 하나의 좌표로 붕괴시키는 등의 사소한 해) 문제를 해결하기 위해, 최종 보상 함수는 다음을 결합합니다:
1. 밀집 형태 형성(Dense Shaping, SAR): 부분적인 진전에 대해 연속적인 그래디언트를 제공합니다.
2. 희소 보너스(Sparse Bonus): 모든 제약 조건이 충족되었을 때( $\|r\|_2^2 < 10^{-3}$ )만 활성화되는 이진 보상입니다.
3. 퇴화 페널티(Degeneracy Penalty): 사소한 구성(예: 중첩된 점들)에 대해 보상을 차감합니다.

훈련 프로토콜

프레임워크는 Qwen3-8B를 베이스 모델로 사용하여 평가되었습니다.

데이터: 절차적 파이프라인을 통해 Easy, Medium, Hard 티어로 계층화된 약 10만 개의 검증된 훈련 문제를 생성했습니다.
접근 방식: 저자들은 가중 손실(정규화된 보상 사용)을 적용한 지도 미세 조정(SFT)과 그룹 상대 정책 최적화(GRPO)를 이용한 강화 학습(RL)을 비교했습니다.
베이스라인: MSE 기반의 글로벌 노름 보상, 희소 이진 보상, 그리고 제안된 복합 SAR+S+D 방식과 비교를 수행했습니다.

주요 결과

벤치마크 성능

저자들은 PyGeoX-Bench(300개의 계층화된 문제)와 PyGeoX-Wild(중학교 기하학 벤치마크에서 변형된 86개의 분포 외 문제)에서 모델을 평가했습니다.

SAR의 우월성: 복합 SAR+S+D 보상은 표준적인 희소 및 글로벌 노름 보상보다 성능이 월등히 뛰어났습니다. "Hard" 티어에서 SAR+S+D는 해결률(SR) 0.41(RL) 및 0.32(SFT)를 달성한 반-면, MSE+S+D는 각각 0.18과 0.04를 기록했습니다.
그래디언트 마스킹 검증: 부분적으로 정답인 3,893개의 솔루션에 대한 경험적 분석 결과, MSE 기반 보상의 60%가 거의 0으로 붕괴되어 옵티마이저가 구분할 수 없게 되었습니다. 반면, SAR 보상의 97%는 정보가 풍부한 범위인 $[0.1, 0.9]$ 내에 머물러 솔루션 간의 상대적 격차를 보존했습니다.
토큰 효율성: SAR+S+D로 훈련된 모델은 희소 베이스라인에 비해 문제를 해결하는 데 필요한 토큰이 약 22.8% 적었으며, 이는 더 직접적인 추론 경로를 시사합니다.
경쟁력: 결과물인 8B 모델(Hard 티어 SR 0.41)은 훨씬 작은 크기에도 불구하고, 평가된 4개의 프런티어 폐쇄형 소스 시스템 중 3개(DeepSeek-V3.2 포함)를 Hard 티어에서 능가했습니다.

내재화의 증거

논문은 모델이 훈련 데이터를 암기한 것이 아니라 기하학적 법칙을 내재화했다고 세 가지 근거를 들어 주장합니다.

구성적 흔적(Constructive Traces): 성공적인 트레이스의 약 90%가 블랙박스 최적화 호출이 아닌 단계별 구성적 유도(자-컴퍼스 방식)를 따랐습니다.
OOD 전이: 모델은 인간이 작성한 산문과 보지 못한 제약 조합이 포함된 PyGeoX-Wild에서 높은 성능을 유지했습니다.
조합적 불가능성: Hard 문제의 솔루션 공간은 $10^{17}$ 개 이상의 구성을 초과하여 훈련 세트보다 압도적으로 크므로, 암기가 통계적으로 불가능합니다.

의의 및 주장

본 논문은 엔드 투 엔드 기하 제약 해결을 LLM 정렬(alignment) 과제로 공식화한 첫 번째 프레임워크라고 주장하며, "번역가" 패러다임을 넘어섰습니다. 주요 의의는 다음과 같습니다:

보상 설계: "이상치 그래디언트 마스킹" 문제를 식별하고 해결함으로써, 다중 제약 과제에 대한 LLM 훈련에는 밀집된 제약별 잔차 신호가 필수적임을 입증했습니다.
인프라: 부등식 제약과 복잡한 대수적 관계를 지원하는 미분 가능한 기하 엔진인 PyGeoX와 평가를 위한 PyGeoX-Bench 및 PyGeoX-Wild를 공개했습니다.
일반화 가능성: 저자들은 SAR 방식이 물리 시뮬레이션, 장면 배치, 로봇 조작과 같이 솔버가 다차원 잔차 벡터를 반환하는 모든 RLVR 설정에 적용 가능하다고 봅니다.

저자들은 현재 결과가 2D 정적 기하학에 국한되어 있으며, 이 접근 방식은 강력한 수학 및 코드 능력을 갖춘 베이스 모델이 필요하다는 점(더 작은 모델은 수렴에 실패함)을 언급하며 연구 범위를 겸손하게 제한했습니다. 이들은 일반적인 공학 설계를 해결했다고 주장하는 것이 아니라, 정밀도가 중요한 도메인에서 LLM이 기하학적 법칙을 내재화할 수 있는 실행 가능한 경로를 구축했음을 밝히고 있습니다.