\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

Resumen Técnico de DIARC: La distinción entre muestras positivas y negativas ayuda a mejorar la capacidad de razonamiento tipo ARC de los Grandes Modelos de Lenguaje

Declaración del Problema

El Corpus de Abstracción y Razonamiento (ARC) requiere que los modelos infieran reglas de transformación latentes a partir de un pequeño número de ejemplos de entrada-salida en cuadrículas y apliquen dichas reglas a nuevas entradas de prueba. Aunque los Grandes Modelos de Lenguaje (LLMs) han mostrado progresos en el razonamiento lingüístico y matemático, tienen dificultades con las tareas de razonamiento simbólico abstracto tipo ARC. Los enfoques actuales para mejorar el rendimiento de los LLM en ARC dependen principalmente del Ajuste Fino Supervisado (SFT) mediante el aumento de datos para crear más ejemplos de entrenamiento. Sin embargo, estos métodos generalmente ofrecen resultados insatisfactorios con modelos de código abierto y son costosos con los de código cerrado.

Los autores identifican tres limitaciones clave en los enfoques actuales basados en SFT:

1. Dificultad Generativa: Las secuencias de salida de ARC suelen ser largas, lo que dificulta la predicción paso a paso de los tokens.
2. Local vs. Global: El SFT se centra en la información de tokens locales, mientras que las tareas de ARC requieren la comprensión de las características globales de la cuadrícula.
3. Falta de Guía Negativa: Los métodos existentes dependen únicamente de muestras positivas (pares de entrada-salida correctos) y carecen de guía de las salidas incorrectas. Los autores argumentan que resolver ARC requiere no solo aprender patrones correctos, sino también la capacidad de distinguir las reglas correctas de las alternativas plausibles pero incorrectas que son "casi aciertos" (near-misses).

Metodología: DIARC

Para abordar estas limitaciones, los autores proponen DIARC, un marco de alineación de preferencias que optimiza los LLM para distinguir entre salidas correctas y muestras negativas rechazadas. El método consta de tres componentes principales:

1. Construcción de Muestras Negativas
En lugar de depender únicamente de los objetivos correctos, DIARC construye pares de preferencia $(x, y^+, y^-)$ donde $y^+$ es la salida correcta y $y^-$ es una muestra negativa derivada de la misma tarea. Las muestras negativas se construyen en tres niveles distintos para asegurar que sean "casi aciertos" informativos:

• Transformaciones Visuales de Nivel de Salida ($NG_{Vis}$): Modifica directamente la cuadrícula de salida utilizando 28 operaciones atómicas a través de cuatro familias:
  • Operadores de bloques de cuadrícula: (p. ej., pooling, centrado de modo, eliminación de componentes pequeños) que preservan la disposición general pero dañan la estructura fina.
  • Desplazamientos rígidos: Desplazar el contenido de la cuadrícula en ocho direcciones con una magnitud del 10% o 30%.
  • Operadores morfológicos/geométricos: (p. ej., erosión, dilatación, esqueleto) que alteran las formas de los objetos manteniendo la disposición espacial.
  • Perturbaciones locales: Inyectar ruido o intercambiar píxeles de los bordes.
• Inversión de Reglas de Nivel DSL ($NG_{DSL}$): Opera a nivel de programa. Los autores analizan programas de transformación específicos de la tarea escritos en un Lenguaje de Dominio Específico (DSL). Identifican patrones de reglas locales recurrentes y aplican una reversión semántica (inversión) a estos patrones, generando un programa que produce una salida incorrecta respecto a la regla, pero que permanece cerca de la lógica original.
• Edición de Reglas Específicas de la Tarea ($NG_{Edit}$): Utiliza un LLM (GPT-5.4) para asistir en la edición de la regla de transformación para una tarea específica. El objetivo es generar una regla alternativa que sea el opuesto semántico de la original o una variante cercana que conduzca a un comportamiento de transformación diferente, asegurando que el negativo sea estructuralmente similar pero lógicamente distinto.

2. Pipeline de Optimización de Preferencias
Una vez construidos los pares de preferencia, el modelo se entrena utilizando Optimización de Preferencia Directa (DPO). A diferencia del Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF), que requiere un modelo de recompensa explícito, DPO optimiza directamente el modelo de política $\pi_\theta$ para asignar una mayor probabilidad a la salida elegida ($y^+$) que a la salida rechazada ($y^-$) en relación con un modelo de referencia $\pi_{ref}$. La función de pérdida es:
$$L_{DPO} = -E \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y^+|x)}{\pi_{ref}(y^+|x)} - \beta \log \frac{\pi_\theta(y^-|x)}{\pi_{ref}(y^-|x)} \right) \right]$$
El modelo de política se inicializa a partir de un modelo SFT, y el modelo de referencia es una copia congelada de ese modelo SFT.

Contribuciones Clave

• Cambio en el Paradigma de Supervisión: El artículo argumenta que la mejora del razonamiento en ARC requiere ir más allá de la supervisión pura de muestras positivas para incluir la discriminación de muestras negativas, basándose en principios de la ciencia cognitiva que dictan que el aprendizaje implica identificar y corregir errores.
• Construcción de Negativos de Tres Niveles: La propuesta de un método sistemático para generar muestras negativas informativas mediante transformaciones visuales, inversión de reglas DSL y edición de reglas específicas de la tarea.
• Alineación de Preferencias para ARC: La aplicación de DPO a las tareas de ARC, demostrando que optimizar la distinción entre salidas correctas y salidas incorrectas plausibles mejora las capacidades de razonamiento.

Resultados Experimentales

Los autores evaluaron DIARC en seis benchmarks: ARC-AGI-1, ARC-AGI-2, MiniARC, ConceptARC, 1D-ARC y ARCcommunity, utilizando tres backbones de LLM de código abierto (Llama-3.2-3B, Mistral-NeMo-Minitron-8B y Qwen3-4B).

• Mejoras Consistentes: DIARC superó consistentemente a los modelos base de solo SFT en todos los conjuntos de datos y tamaños de modelo.
• Rendimiento de Vanguardia: Utilizando el modelo Qwen3, DIARC alcanzó un 97.00% de precisión en ARC-AGI-1 y un 33.06% en ARC-AGI-2. En MiniARC y ConceptARC, alcanzó un 97.32% y 97.29% respectivamente.
• Comparación: Estos resultados superan a varios modelos especializados en ARC (p. ej., HRM, GRAM, VARC) y a potentes LLM de código cerrado (p. ej., GPT-4, o1-mini, Kimi K2.5).
• Ablación: Los experimentos mostraron que las tres estrategias de construcción de negativos contribuyeron a las ganancias de rendimiento, siendo "Random Perturb" y "Rigid Shift" frecuentemente proveedores de mejoras significativas en benchmarks específicos.

Significado y Reivindicaciones

El artículo sostiene que la capacidad de distinguir entre reglas correctas y alternativas de "casi acierto" plausibles es una habilidad crucial para el razonamiento en ARC que a menudo se pasa por alto en el SFT estándar. Al aprovechar la alineación de preferencias, DIARC permite a los modelos aprender no solo cuál es la respuesta, sino por qué ciertas alternativas plausibles son incorrectas. Los autores afirman que este enfoque proporciona una forma rentable de mejorar los modelos de código abierto para llevarlos a niveles competitivos o superiores a los sistemas de código cerrado costosos en tareas de razonamiento abstracto, sin requerir los enormes costos de inferencia asociados con los modelos de frontera. El trabajo sugiere que las mejoras futuras en el razonamiento de ARC pueden depender más de la calidad de la construcción de muestras negativas y la optimización de preferencias que de simplemente escalar los datos o el tamaño del modelo.