\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

Resumo Técnico de DIARC: Distinguir Amostras Positivas e Negativas Ajuda a Melhorar a Capacidade de Raciocínio do tipo ARC em Grandes Modelos de Linguagem

Declaração do Problema

O Abstraction and Reasoning Corpus (ARC) exige que os modelos infiram regras de transformação latentes a partir de um pequeno número de exemplos de entrada-saída e as apliquem a novas entradas de teste. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado progresso no raciocínio linguístico e matemático, eles enfrentam dificuldades em tarefas de símbolos abstratos do tipo ARC. As abordagens atuais para melhorar o desempenho dos LLMs no ARC baseiam-se principalmente em Ajuste Fino Supervisionado (SFT) utilizando aumento de dados para criar mais exemplos de treinamento. No entanto, esses métodos geralmente produzem resultados insatisfatórios com modelos de código aberto e são dispendiosos com modelos de código fechado.

Os autores identificam três limitações principais nas abordagens atuais baseadas em SFT:

1. Dificuldade Generativa: As sequências de saída do ARC são frequentemente longas, tornando difícil a previsão passo a passo de tokens.
2. Local vs. Global: O SFT foca na informação local do token, enquanto as tarefas de ARC exigem a compreensão de características globais da grade.
3. Falta de Orientação Negativa: Os métodos existentes dependem exclusivamente de amostras positivas (pares de entrada-saída corretos) e carecem de orientação proveniente de saídas incorretas. Os autores argumentam que resolver o ARC requer não apenas aprender padrões corretos, mas também a capacidade de distinguir regras corretas de alternativas "quase corretas" plausíveis, porém incorretas.

Metodologia: DIARC

Para abordar essas limitações, os autores propõem o DIARC, um framework de alinhamento de preferência que otimiza os LLMs para distinguir entre saídas corretas e amostras negativas rejeitadas. O método consiste em três componentes principais:

1. Construção de Amostras Negativas
Em vez de depender apenas de alvos corretos, o DIARC constrói pares de preferência $(x, y^+, y^-)$, onde $y^+$ é a saída correta e $y^-$ é uma amostra negativa derivada da mesma tarefa. As amostras negativas são construídas em três níveis distintos para garantir que sejam "quase erros" informativos:

• Transformações Visuais de Nível de Saída ($NG_{Vis}$): Modifica diretamente a grade de saída usando 28 operações atômicas através de quatro famílias:
  • Operadores de bloco de grade: (ex: pooling, mode-centering, remoção de componentes pequenos) que preservam o layout grosseiro, mas danificam a estrutura refinada.
  • Deslocamentos rígidos: Deslocar o conteúdo da grade em oito direções com magnitude de 10% ou 30%.
  • Operadores Morfológicos/Geométricos: (ex: erosão, dilatação, esqueleto) que alteram as formas dos objetos mantendo o layout espacial.
  • Perturbações Locais: Injeção de ruído ou troca de pixels de borda.
• Inversão de Regra de Nível de DSL ($NG_{DSL}$): Opera ao nível do programa. Os autores analisam programas de transformação específicos da tarefa escritos em uma Linguagem de Domínio Específico (DSL). Eles identificam padrões de regras locais recorrentes e aplicam uma reversão semântica (inversão) a esses padrões, gerando um programa que produz uma saída incorreta em relação à regra, mas que permanece próxima à lógica original.
• Edição de Regra Específica da Tarefa ($NG_{Edit}$): Utiliza um LLM (GPT-5.4) para auxiliar na edição da regra de transformação para uma tarefa específica. O objetivo é gerar uma regra alternativa que seja o oposto semântico da original ou uma variante próxima que leve a um comportamento de transformação diferente, garantindo que o negativo seja estruturalmente semelhante, mas logicamente distinto.

2. Pipeline de Otimização de Preferência
Uma vez construídos os pares de preferência, o modelo é treinado usando Otimização de Preferência Direta (DPO). Ao contrário do Aprendizado por Reforço com Feedback Humano (RLHF), que requer um modelo de recompensa explícito, o DPO otimiza diretamente o modelo de política $\pi_\theta$ para atribuir uma probabilidade maior à saída escolhida ($y^+$) do que à saída rejeitada ($y^-$) em relação a um modelo de referência $\pi_{ref}$. A função de perda é:
$$L_{DPO} = -E \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y^+|x)}{\pi_{ref}(y^+|x)} - \beta \log \frac{\pi_\theta(y^-|x)}{\pi_{ref}(y^-|x)} \right) \right]$$
O modelo de política é inicializado a partir de um modelo SFT, e o modelo de referência é uma cópia congelada desse modelo SFT.

Principais Contribuições

• Mudança no Paradigma de Supervisão: O artigo argumenta que a melhoria do raciocínio ARC requer ir além da supervisão pura de amostras positivas para incluir a discriminação de amostras negativas, baseando-se em princípios da ciência cognitiva de que o aprendizado envolve identificar e corrigir erros.
• Construção de Negativos em Três Níveis: A proposta de um método sistemático para gerar amostras negativas informativas via transformações visuais, inversão de regra de DSL e edição de regra específica da tarefa.
• Alinhamento de Preferência para ARC: A aplicação de DPO para tarefas de ARC, demonstrando que a otimização para a distinção entre saídas corretas e incorretas plausíveis melhora as capacidades de raciocínio.

Resultados Experimentais

Os autores avaliaram o DIARC em seis benchmarks: ARC-AGI-1, ARC-AGI-2, MiniARC, ConceptARC, 1D-ARC e ARCcommunity, utilizando três backbones de LLM de código aberto (Llama-3.2-3B, Mistral-NeMo-Minitron-8B e Qwen3-4B).

• Melhorias Consistentes: O DIARC superou consistentemente os modelos de linha de base apenas com SFT em todos os conjuntos de dados e tamanhos de modelo.
• Desempenho de Estado da Arte: Usando o modelo Qwen3, o DIARC alcançou 97,00% de precisão no ARC-AGI-1 e 33,06% no ARC-AGI-2. No MiniARC e ConceptARC, alcançou 97,32% e 97,29%, respectivamente.
• Comparação: Estes resultados superam vários modelos especializados em ARC (ex: HRM, GRAM, VARC) e fortes LLMs de código fechado (ex: GPT-4, o1-mini, Kimi K2.5).
• Ablação: Experimentos mostraram que todas as três estratégias de construção de negativos contribuíram para os ganhos de desempenho, sendo que "Random Perturb" e "Rigid Shift" frequentemente forneceram melhorias significativas em benchmarks específicos.

Significância e Alegações

O artigo afirma que a habilidade de distinguir entre regras corretas e alternativas "quase corretas" plausíveis é uma habilidade crucial para o raciocínio ARC que é frequentemente negligenciada no SFT padrão. Ao alavancar o alinhamento de preferência, o DIARC permite que os modelos aprendam não apenas o que é a resposta, mas por que certas alternativas plausíveis estão incorretas. Os autores afirmam que esta abordagem fornece uma maneira de baixo custo para melhorar modelos de código aberto para níveis competitivos ou superiores aos sistemas caros de código fechado em tarefas de raciocínio abstrato, sem exigir os enormes custos de inferência associados aos modelos de fronteira. O trabalho sugere que as melhorias futuras no raciocínio ARC podem depender mais da qualidade da construção de amostras negativas e da otimização de preferência do que simplesmente de escalar dados ou o tamanho do modelo.