기술 요약: COCOLogic-V2

문제 정의

개념 병목 모델(Concept Bottleneck Models, CBMs) 및 신경-기호 프로그램 합성(neuro-symbolic program synthesis) 방법과 같은 해석 가능한 머신러닝 모델은 의료나 금융과 같은 고위험 도메인에서 필수적인 요구사항인 모델 결정의 검증을 가능하게 하도록 설계되었습니다. 그러나 이러한 모델에 대한 평가는 역사적으로 좁은 설정에 국한되어 왔습니다. CBM은 종종 단일 라벨 이미지 분류에 국한되어 평가되며, 프로그램 합성 및 신경-기호 접근 방식은 실제 데이터에 대한 복잡한 귀납적 추론보다는 합성된 작업이나 추상적인 패턴 매칭에 의존하는 경우가 많습니다.

기존 벤치마크는 시각적 귀납 추론의 복잡성을 포착하지 못합니다. 구체적으로, 이전 버전의 추론 데이터셋(예: 기존 COCOLogic)은 종종 클래스 불균형 문제를 겪으며, 모델이 근본적인 논리 규칙을 학습하기보다 특정 객체(예: 그릇 하나)를 기반으로 클래스를 예측하는 것과 같은 "지름길(shortcuts)"을 악용하도록 허용합니다. 또한, 표준 평가 지표는 모델이 엣지 케이스(edge cases)를 처리하지 못하는 능력을 가리는 경우가 많은데, 이는 모델이 논리에 대한 정밀한 이해가 필요한 샘플에서 실패하더라도 쉬운 샘 샘플을 올바르게 분류함으로써 높은 전체 정확도를 달elle 수 있기 때문입니다.

방법론: COCOLogic-V2 데이터셋

이러한 한계를 해결하기 위해, 저자들은 MSCOCO에서 유도된 실제 이미지에 대한 시각적 귀납 추론을 위한 객체 중심 데이터셋인 COCOLogic-V2를 소개합니다. 이 데이터셋은 명제 논리, 객체 카운팅, 카운팅 비교, 객체 부재를 포함하여 1차 논리의 광범위한 부분 집합을 다루도록 설계되었습니다.

주요 설계 특징

1. 멀티라벨 프레이밍: 이전 모델과 달리, COCOLogic-V2는 지름길과 클래스 불균형을 줄이기 위해 작업을 멀티라벨 분류로 프레이밍합니다.
2. 구성적 논리 규칙: 데이터셋은 객체 카테리아의 공존, 부재 또는 특정 개수를 기반으로 하는 10가지의 뚜렷한 논리 규칙(예: "Signal and Ride", "Double Serving", "Herd Alone")으로 구성됩니다.
3. 세밀한 샘플 범주화: 핵심 혁신은 모델의 책임성을 자동 진단할 수 있도록 샘플을 세 가지 유형으로 분류한 것입니다:
   • Positive Variants (양성 변체): 규칙이 충족되는 다양한 방식 (규칙의 논리합 표준형(Disjunctive Normal Form)으로부터 유도됨).
   • Near-Boundary (NB) Negatives (경계 근접 부정 샘플): 결정 경계에 가까운 샘플들. 이들은 논리 내의 단일 리터럴을 반전시키거나 객체 수를 수정함으로써 생성됩니다 (예: "정확히 3개"를 "1개 또는 2개"로 변경). 이 샘플들은 모델이 규칙의 구체적인 세부 사항을 학습했는지 테스트합니다.
   • Far-From-Boundary (FB) Negatives (경계 원거리 부정 샘플): 규칙을 이해하지 않고도 쉽게 구분할 수 있는 양성 샘플과 구별되는 샘플들입니다.
4. COCOLogic-V2-FS: 퓨샷(few-shot) 및 인컨텍스트 학습 능력을 평가하기 위해 특별히 설계된, 규칙당 24개의 훈련 샘플을 포함하는 정제된 소규모 버전의 데이터셋입니다.

샘플링 절차

데이터셋은 MSCOCO 이미지에서 샘플링됩니다. 과정은 양성 변체당 최대 1,000개의 이미지를 선택하고, NB 유형당 최소 500개의 이미지를 확보하며, 나머지 부분을 FB 샘플로 채워 원래의 MSCOCO 데이터셋과 유사한 분포를 유지하는 것을 포함합니다. 최종 훈련 세트는 25,000개의 이미지를 포함하며, 테스트 세트는 3,500개의 이미지를 포함합니다.

실험적 평가

저자들은 전체 데이터셋과 퓨샷 버전 모두에서 여러 계열의 접근 방식을 평가했습니다:

• 개념 기반 모델 (Concept-Based Models): 그라운드 트루스 객체 라벨(Oracle), 사전 훈련된 탐지기(Mask R-CNN), 지도 학습 인코더, CLIP 기반 표현, 객체 중심 CBM(OCB), 그리고 Deep Concept Reasoner(DCR)를 사용하는 CBM의 변형들.
• 블랙박스 베이스라인 (Black-Box Baselines): 파인튜닝된 ResNet-50.
• 퓨샷 접근 방식 (Few-Shot Approaches): GPT-5.5, Gemini-3.1-Pro-Preview, Claude-Opus-4-7과 같은 VLM을 이용한 인컨텍스트 학습, 그리고 Gemma-4-31B-it를 사용한 VLP 방식의 프로그램 합성.

주요 결과

1. 근접 경계 샘플에서의 실패: 전체 데이터셋에서 대부분의 모델은 양성 샘플과 FB 네거티브를 성공적으로 분리함으로써 높은 전체 균형 정확도(B-Acc > 80%)를 달성했습니다. 그러나 NB 샘플에 대한 성능은 일관되게 저조했으며, 종종 무작위 추측 수준 이하(예: 다양한 CBM에 대해 27–48%)로 떨어졌습니다. 이는 모델이 근본적인 논리 규칙을 학습하는 대신 거친 통계적 패턴을 악용하고 있음을 나타냅니다.
2. 지각 노이즈의 영향: 더 노이즈가 많은 개념 표현(예: CLIP 또는 사전 훈련된 탐지기)에 의존하는 모델은 그라운드 트루스 라벨을 사용하는 모델보다 NB 샘플에서 더 낮은 성능을 보였으며, 이는 미세한 규칙의 세부 사항을 불완전한 지각으로 포착하기 어렵다는 것을 시사합니다.
3. 퓨샷의 어려움: COCOLogic-V2-FS 설정에서 모든 CBM 접근 방식은 제한된 훈련 신호(규칙당 24개 샘플)로 인해 크게 어려움을 겪었습니다. 반면 VLM을 이용한 인컨텍스트 학습과 프로그램 합성은 더 나은 성능(약 70% B-Acc 도달)을 보였으나, 여전히 과제에 직면했습니다. 구체적으로, VLM은 의미적으로는 관련이 있지만 논리적으로는 부정확한 패턴을 식별하는 경우가 많았고, 프로그램 합성은 넓은 탐색 공간과 그라운드 트루스 개념 없이 관련 객체를 식별하는 데 어려움을 겪었습니다.
4. Oracle 상한선: 완벽한 개념 입력(Oracle)이 있는 경우에도 선형 예측기는 XOR 또는 정확한 카운팅이 포함된 규칙에서 실패한 반면, MLP는 거의 완벽한 성능을 달성했습니다. 이는 데이터셋이 원칙적으로 해결 가능하지만 비선형 추론 능력을 필요로 함을 확인시켜 줍니다.

기여

이 논문은 세 가지 주요 기여를 합니다:

1. COCOLogic-V2: 카운팅과 비교를 포함하도록 논리적 범위를 확장하고 멀티라벨 작업으로 재구성된, 실제 이미지에 대한 객체 중심의 시각적 귀납 추론 데이터셋입니다.
2. COCOLogic-V2-FS: 데이터가 제한된 환경과 인컨텍스트 학습을 평가하기 위해 정제된 퓨샷 버전입니다.
3. 한계에 대한 실증적 증거: 현재의 해석 가능한 접근 방식(CBM, VLM, 프로그램 합성)이 특히 근접 경계 샘플에서 근본적인 논리 규칙을 포착하는 데 부족하다는 점을 보여줌으로써, 시각적 귀납 추론이 여전히 해결되지 않은 과제임을 입증했습니다.

의의 및 주장

저자들은 COCOLogic-V2가 시각적 귀납 추론을 발전시키기 위한 구체적인 토대를 제공한다고 주장합니다. 데이터셋의 세밀한 범주화(Positive, NB, FB)는 높은 전체 정확도가 종종 논리 규칙 학습의 실패를 가린다는 점을 드러내는 자동 진단 도구 역할을 합니다.

논문은 실제 데이터에 대한 시각적 논리 추론이 여전히 미해결 과제로 남아 있다고 결론짓습니다. 현재의 모델들은 양성과 쉬운 부정 샘플은 잘 분리하지만, 규칙의 세부 사항을 제대로 이해해야 하는 샘플에서는 실패하는 경향이 있습니다. 저자들은 향후 연구가 추론 특화 지름길을 완화하고, 해석 가능한 모델의 한계를 더욱 시험하기 위해 더 복잡한 논리 구조와 객체 관계를 포함하는 데이터셋을 확장하는 데 집중해야 한다고 제안합니다.