\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

DIARC 기술 요약: 양성 및 음성 샘플의 구분이 대규모 언어 모델의 ARC 유사 추론 능력 향상에 미치는 영향

문제 정의

추상 추론 코퍼스(ARC)는 소수의 입력-출력 그리드 예시로부터 잠재적인 변환 규칙을 추론하고, 이를 새로운 테스트 입력에 적용할 것을 요구한다. 대규모 언어 모델(LLM)은 자연어 및 수학적 추론에서 진전을 보여왔으나, ARC와 같은 추상적 기호 작업에서는 어려움을 겪고 있다. 현재 LLM의 ARC 성능을 개선하려는 접근 방식은 주로 데이터 증강을 통해 더 많은 훈련 예시를 만드는 **지도 미세 조정(SFT)**에 의존한다. 그러나 이러한 방법들은 오픈 소스 모델에서는 만족스럽지 못한 결과를 낳으며, 폐쇄형 소스 모델에서는 비용이 많이 든다.

저자들은 기존 SFT 기반 접근 방식의 세 가지 핵심 한계를 식별했다:

1. 생성적 난이도(Generative Difficulty): ARC 출력 시퀀스는 종종 길기 때문에, 단계별 토큰 예측이 어렵다.
2. 로컬 vs 글로벌(Local vs Global): SFT는 로컬 토큰 정보에 집중하는 반면, ARC 작업은 글로벌 그리드 특성을 이해할 것을 요구한다.
3. 음성 가이드의 부재(Lack of Negative Guidance): 기존 방법은 양성 샘플(정확한 입출력 쌍)에만 의존하며, 잘못된 출력으로부터의 가이드가 부족하다. 저자들은 ARC를 해결하기 위해서는 단순히 올바른 패턴을 배우는 것뿐만 아니라, 올바른 규칙과 그럴듯하지만 틀린 "근접 오답(near-miss)" 대안을 구별하는 능력도 필요하다고 주장한다.

방법론: DIARC

이러한 한계를 해결하기 위해, 저자들은 LLM이 정답 출력과 거부된 음성 샘플을 구별하도록 최적화하는 선호도 정렬 프레임워크인 DIARC를 제안한다. 이 방법은 세 가지 주요 구성 요소로 이루어져 있다:

1. 음성 샘플 구축 (Negative Sample Construction)
정확한 타겟에만 의존하는 대신, DIARC는 $(x, y^+, y^-)$ 형태의 선호도 쌍을 구축한다. 여기서 $y^+$는 정답 출력이고, $y^-$는 동일한 작업에서 파생된 음성 샘플이다. 음성 샘플은 정보 가치가 높은 "근접 오답"을 보장하기 위해 세 가지 뚜렷한 수준에서 구축된다:

• 출력 수준의 시각적 변환 ($NG_{Vis}$): 네 가지 패밀리에 걸친 28개의 원자적 연산을 사용하여 출력 그리드를 직접 수정한다.
  • 그리드 블록 연산자: (예: 풀링, 모드 중심화, 작은 구성 요소 제거 등) 거친 레이아웃은 유지하지만 미세한 구조를 손상시킨다.
  • 강체 이동(Rigid shifts): 그리드 내용을 8개 방향으로 10% 또는 30% 크기로 이동시킨다.
  • 형태학적/기하학적 연산자: (예: 침식, 팽창, 골격화 등) 공간적 레이아웃은 유지하면서 객체의 모양을 변경한다.
  • 로컬 섭동(Local perturbations): 노이즈를 주입하거나 경계 픽셀을 교체한다.
• DSL 수준의 규칙 반전 ($NG_{DSL}$): 프로그램 수준에서 작동한다. 저자들은 도메인 특화 언어(DSL)로 작성된 작업별 변환 프로그램을 분석한다. 이들은 반복되는 로컬 규칙 패턴을 식별하고, 이 패턴에 의미론적 역전(inversion)을 적용하여 원래의 로직과는 가깝지만 규칙에는 어긋나는 출력을 생성하는 프로그램을 만든다.
• 작업 특화 규칙 편집 ($NG_{Edit}$): 특정 작업을 위한 변환 규칙 편집을 돕기 위해 LLM(GPT-5.4)을 사용한다. 목표는 원래의 규칙과 의미론적 반대이거나, 원래와는 다른 변환 동작을 유도하는 유사한 변형 규칙을 생성하여, 구조적으로는 유사하지만 논리적으로는 구별되는 음성 샘플을 만드는 것이다.

2. 선호도 최적화 파이프라인 (Preference Optimization Pipeline)
선호도 쌍이 구축되면, 모델은 **직접 선호도 최적화(DPO)**를 사용하여 훈련된다. 명시적인 보상 모델이 필요한 RLHF와 달리, DPO는 참조 모델 $\pi_{ref}$에 비해 선택된 출력($y^+$)에 더 높은 가능성을 할당하도록 정책 모델 $\pi_\theta$를 직접 최적화한다. 손실 함수는 다음과 같다:
$$L_{DPO} = -E \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y^+|x)}{\pi_{ref}(y^+|x)} - \beta \log \frac{\pi_\theta(y^-|x)}{\pi_{ref}(y^-|x)} \right) \right]$$
정책 모델은 SFT 모델로부터 초기화되며, 참조 모델은 해당 SFT 모델의 동결된 복사본이다.

주요 기여

• 감독 패러다임의 전환: 본 논문은 ARC 추론 개선을 위해 순수 양성 샘플 감독을 넘어, 오류를 식별하고 수정하는 과정이 학습이라는 인지 과학 원리에 따라 음성 샘플의 구별을 포함해야 한다고 주장한다.
• 3단계 음성 구축: 시각적 변환, DSL 규칙 반전, 작업 특화 규칙 편집을 통해 정보 가치가 높은 음성 샘점를 생성하는 체계적인 방법을 제안한다.
• ARC를 위한 선호도 정렬: ARC 작업에 DPO를 적용하여, 정답과 그럴듯한 오답 사이의 구별을 최적화하는 것이 추론 능력을 향상시킨다는 것을 입증한다.

실험 결과

저자들은 세 가지 오픈 소스 LLM 백본(Llama-3.2-3B, Mistral-NeMo-Minitron-8B, Qwen3-4B)을 사용하여 여섯 가지 벤치마크(ARC-AGI-1, ARC-AGI-2, MiniARC, ConceptARC, 1D-ARC, ARCcommunity)에서 DIARC를 평가했다.

• 일관된 개선: DIARC는 모든 데이터셋과 모델 크기에 대해 SFT 전용 베이스라인 모델보다 일관되게 우수한 성능을 보였다.
• 최첨단 성능 (SOTA): Qwen3 모델을 사용했을 때, DIARC는 ARC-AGI-1에서 97.00%, ARC-AGI-2에서 **33.06%**의 정확도를 달성했다. MiniARC와 ConceptARC에서는 각각 **97.32%**와 **97.29%**를 기록했다.
• 비교: 이러한 결과는 다양한 ARC 특화 모델(예: HRM, GRAM, VARC) 및 강력한 폐쇄형 소스 LLM(예: GPT-4, o1-mini, Kimi K2.5)을 능가한다.
• 절제 연구 (Ablation): 실험을 통해 세 가지 음성 구축 전략 모두가 성능 향상에 기여함을 보여주었으며, 특히 "Random Perturb"와 "Rigid Shift"가 특정 벤치마크에서 상당한 개선을 제공했다.

의의 및 주장

본 논문은 올바른 규칙과 그럴듯한 근접 오답 대안을 구별하는 능력이 표준 SFT에서는 간과되기 쉬운 ARC 추론의 핵심 기술이라고 주장한다. 선호도 정렬을 활용함으로써, DIARC는 모델이 단순히 답이 무엇인지뿐만 아니라, 왜 특정 그럴듯한 대안들이 틀렸는지를 배우도록 한다. 저자들은 이 접근 방식이 값비싼 폐쇄형 소스 시스템과 경쟁하거나 이를 능가하는 수준으로 오픈 소스 모델의 성능을 높일 수 있는 비용 효율적인 방법을 제공하며, 프런티어 모델과 관련된 막대한 추론 비용을 요구하지 않는다고 밝힌다. 이 연구는 향후 ARC 추론의 개선이 단순히 데이터나 모델의 규모를 키우는 것보다, 음성 샘플 구축의 품질과 선호도 최적화에 더 크게 의존할 수 있음을 시사한다.