🤖 machine learning

Pretrain on Small Synthetic Data, Scale Large for Free: Symmetry-Aware Foundation Model for Logic Rule Induction

Este artigo apresenta um modelo de fundação consciente de simetria para indução de regras lógicas que, ao impor equivalência exata por meio de um novo mecanismo de exportação canônica, permite que um modelo pré-treinado em dados sintéticos pequenos generalize regras interpretáveis e precisas para esquemas significativamente maiores sem retreinamento.

Autores originais: Yin Jun Phua

Publicado 2026-08-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yin Jun Phua

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Dilema do Detetive: Encontrando Regras em um Mundo Ruidoso

Imagine que você é um detetive tentando resolver um mistério, mas em vez de impressões digitais, você está procurando padrões ocultos em uma pilha de pistas. No mundo da ciência da computação, isso é chamado de "indução de regras". O objetivo é ensinar um computador a olhar para um conjunto de exemplos — como uma lista de quem comprou o quê, ou como um produto químico reage — e descobrir a regra simples de "se-então" que explica tudo. O problema? O computador precisa ser inteligente o suficiente para ignorar o ruído e os nomes específicos das pessoas ou coisas envolvidas. Se a regra for "Se chover, a grama fica molhada", não deve importar se você chama a chuva de "água caindo do céu" ou "precipitação", ou se você altera a ordem dos exemplos em seu caderno.

Por muito tempo, os computadores foram péssimos nisso. Eles memorizavam os nomes específicos das pistas (como "João" ou "Átomo 5") em vez de aprender a lógica real. Se você desse a eles um novo caso com nomes diferentes, eles ficariam confusos. É aqui que entram os "modelos de fundação" (foundation models). Pense neles como estudantes superinteligentes que estudam milhares de pequenos quebra-cabeças inventados para aprender o conceito da lógica em si, em vez de apenas memorizar as respostas de quebra-cabeças específicos. A grande questão que os pesquisadores estão fazendo é: Podemos construir um computador que aprenda a forma da lógica tão bem que ele consiga resolver quebra-cabeças novos e muito maiores que nunca viu antes, sem precisar estudar para eles novamente?

A Grande Ideia do Artigo: Ensinar a Lógica a Ignorar o "Quem" e o "Quando"

Este artigo apresenta uma nova e inteligente maneira de construir um desses computadores de aprendizado de lógica, chamado Modelo de Fundação Sensível à Simetria (Symmetry-Aware Foundation Model). O autor, Yin Jun Phua, percebeu que a melhor maneira de ensinar um computador a generalizar é forçá-lo a respeitar as "simetrias". Na linguagem cotidiana, simetria aqui significa que o computador deve tratar o mundo de forma justa: ele não deve se importar se você embaralhar a ordem dos exemplos, renomear as variáveis, inverter um interruptor de "ligado" para "desligado" ou trocar os rótulos "sim" e "não".

Os pesquisadores começaram com um modelo existente chamado Neural Rule Inducer (NRI). Este modelo já era muito bom; conseguia aprender regras a partir de conjuntos de dados pequenos e ruidosos. No entanto, ele tinha uma falha: dependia de atalhos baseados na ordem dos dados ou nos nomes específicos dos átomos (os blocos de construção da lógica). Se você desse a ele um quebra-cabeça com 1.000 átomos em vez dos 12 para os quais ele foi treinado, ele falharia porque estava contando com esses nomes específicos em vez da lógica subjacente.

Para corrigir isso, o autor não treinou o modelo do zero. Em vez disso, construiu um "envelope" (wrapper) sensível à simetria ao redor dele. Eles adicionaram alguns ajustes arquiteturais e uma etapa especial de "exportação" que atua como um tradutor. Veja como funciona em termos simples:

Os Ajustes Arquiteturais: Eles removeram as partes do modelo que se importavam com a ordem dos dados ou com os nomes específicos dos átomos. Eles tornaram o modelo "cego" a esses detalhes irrelevantes, forçando-o a focar apenas nas relações entre as pistas.
A "Exportação Canônica": Esta é a grande invenção do artigo. Quando o modelo adivinha uma regra, ele produz um conjunto de pontuações (scores). O novo método de exportação pega essas pontuações e as traduz para uma regra final de uma forma muito rigorosa e padronizada. Ele garante que, se você trocar os nomes dos átomos na entrada, a regra de saída troque os nomes exatamente da mesma maneira. Se você inverter um interruptor, a regra inverte de volta. Ele faz isso sem precisar aprender nada novo; é uma garantia matemática construída no processo de tradução.

O Que Eles Descobriram: Escalonamento Gratuito

A equipe testou seu novo modelo, que chamam de G-NRI, em alguns desafios muito difíceis.

O "Teste de Estresse": Eles treinaram o modelo em quebra-cabeças minúsculos com apenas 6 a 12 variáveis (átomos). Em seguida, congelaram o modelo e pediram que ele resolvesse quebra-cabeças com até 1.024 variáveis. Isso é 85 vezes maior do que aquilo para o qual foi treinado.
O Resultado: O modelo original (a linha de base) desmoronou conforme os quebra-cabeças ficavam maiores, caindo ao nível de um palpite aleatório. Mas o novo modelo G-NRI manteve-se forte. Ele manteve sua precisão alta e, o mais importante, as regras que produziu eram matematicamente consistentes. Se você embaralhasse a entrada, a regra de saída embaralhava perfeitamente para corresponder.
Prova do Mundo Real: Eles também testaram o modelo em 19 conjuntos de dados do mundo real, como registros médicos e dados químicos. Embora não tenha superado modelos que foram treinados especificamente para cada conjunto de dados (o que é esperado de um modelo "zero-shot"), ele teve um desempenho significativamente melhor que o modelo original, especialmente nos conjuntos de dados maiores. De fato, em alguns conjuntos de dados grandes, ele até superou o palpite da "classe majoritária" (apenas adivinhar a resposta mais comum).

A Conclusão: Uma Garantia Matemática, Não Apenas um Palpite

A parte mais emocionante deste artigo não é apenas que o modelo melhorou; é o porquê ele melhorou. O autor provou que seu método de "exportação canônica" é uma garantia matemática. Contanto que as pontuações internas do modelo respeitem as simetrias, a regra final deve respeitá-las também. Isso não é um acidente de sorte; é uma propriedade do design.

Eles descobriram que, ao impor essas simetrias "por construção" (construindo-as dentro do sistema em vez de apenas esperar que o modelo as aprenda), transformaram um modelo de dados pequenos em uma ferramenta reutilizável que pode lidar com problemas massivos e complexos. O modelo não precisou ser retreinado para os grandes quebra-cabeças; ele só precisou do "tradutor" certo para ler sua mente.

Em resumo, este artigo mostra que, se você ensinar um computador a ignorar os detalhes irrelevantes (como nomes e ordem) e focar apenas na estrutura lógica, ele pode escalar para resolver problemas que vão muito além de seu treinamento. É como ensinar um detetive a reconhecer o padrão de um crime em vez de memorizar os rostos dos suspeitos, permitindo que ele resolva casos em cidades que nunca visitou. O autor sugere que essa abordagem torna o modelo confiável para transferência "zero-shot", o que significa que ele pode saltar de dados de treinamento sintéticos pequenos para aplicações reais e grandes com um alto grau de confiança, mantendo sempre as regras que gera simples e fáceis de serem lidas por humanos.

Resumo Técnico: Modelo de Fundação com Consciência de Simetria para Indução de Regras

Declaração do Problema

A indução de regras lógicas visa aprender hipóteses interpretáveis (especificamente, regras em Forma Normal Disjuntiva, ou DNF) que se generalizam através de diferentes esquemas proposicionais. Abordagens existentes, como a Programação Lógica Indutiva (ILP) e o Aprendizado a partir de Transição de Interpretação (LFIT), frequentemente enfrentam dificuldades com dados ruidosos, parcialmente observados ou não vistos. Embora métodos neuro-simbólicos ofereçam tolerância ao ruído, eles tipicamente exigem treinamento por tarefa, falhando em atuar como verdadeiros modelos de fundação capazes de realizar transferência zero-shot para novos esquemas.

Uma barreira crítica para escalar esses modelos é a violação de simetrias estruturais. Um indutor de regras robusto deve respeitar quatro simetrias fundamentais inerentes aos problemas lógicos:

Ordem dos Exemplos ( $S_M$ ): Permutar a ordem dos exemplos de treinamento não deve alterar a regra aprendida.
Renomeação de Átomos ( $S_N$ ): Renomear átomos (variáveis) deve resultar em uma regra correspondentemente renomeada.
Inversão de Polaridade ( $Z_2^N$ ): Inverter a polaridade de um átomo (ex: $x_j \to \neg x_j$ ) deve inverter o literal correspondente na regra.
Troca de Rótulo ( $Z_2^y$ ): Trocar os rótulos de saída (0/1) deve resultar no complemento Booleano da regra aprendida.

Modelos de fundação anteriores, como o Neural Rule Inducer (NRI), respeitam a ordem dos exemplos, mas falham em manter a equivariância sob renomeação de átomos, inversão de polaridade ou troca de rótulos. Consequentemente, seu desempenho degrada significativamente quando aplicados a esquemas maiores do que os vistos durante o treinamento, e suas regras exportadas não se transformam corretamente sob operações de simetria.

Metodologia

O artigo propõe o G-NRI, uma versão do Neural Rule Inducer que restaura a simetria. A contribuição central não é um novo algoritmo de aprendizado, mas um mecanismo de exportação canônico e modificações arquiteturais específicas que impõem equivariância exata por construção, sem exigir retreinamento ou parâmetros aprendíveis adicionais.

1. Definição do Grupo de Simetria

O problema é formulado sob o grupo de simetria $G = S_M \times B_N \times Z_2^y$ , onde $B_N = S_N \ltimes Z_2^N$ representa permutações de átomos com sinal. Um mapa é $G$ -equivariante se ele comuta com cada transformação em $G$ .

2. Correções Arquiteturais (Restaurando $B_N$ )

Para garantir que a geração de pontuação interna do NRI seja equivariante sob permutações de átomos e inversões de polaridade, três modificações específicas são feitas no codificador e no decodificador:

Recurso de Sinal de Literal Zero: O recurso constante que distingue literais positivos de negativos é zerado, evitando que o modelo dependa de representações de sinal fixas.
Desativação de Chaves de Conteúdo de Atenção de Exemplos: Chaves aprendidas para exemplos são desativadas para evitar que a agregação dependa de ordenações específicas de átomos.
Seleção de Empate Completo (Tie-Complete Selection): Em vez de quebrar empates entre pares de literais pelo índice do átomo (o que quebra a invariância de permutação), o modelo utiliza uma seleção "tie-complete" que retém todos os pares com pontuações empatadas com o $k$ -ésimo melhor.
Embeddings de Polaridade Média: Para a equivariância $Z_2^N$ , os embeddings de pares selecionados são calculados pela média sobre suas inversões de polaridade.

3. Exportação de Regra Canônica (Restaurando $Z_2^y$ e o $G$ Total)

O artigo introduz uma exportação canônica que decodifica regras discretas a partir de pontuações de literais contínuas ( $p^+, p^-$ ) de uma forma matematicamente garantida como equivariante:

Pontuação de Presença ( $s_j$ ): Definida como $\max(p^+_j, p^-_j)$ , invariante a trocas de polaridade.
Contraste Assinado ( $d_j$ ): Definido como $p^+_j - p^-_j$ , que inverte o sinal sob trocas de polaridade.
Lógica de Decisão: Um átomo é incluído se $s_j \ge 0.5$ e $d_j \neq 0$ . A polaridade é determinada pelo sinal de $d_j$ . Se $d_j = 0$ (empate exato), o átomo é omitido (abstenção) em vez de ser atribuído arbitrariamente a uma polaridade.
Seleção de Trilho Duplo (Dual-Rail Selection): Para lidar com trocas de rótulo, o modelo tira a média das predições de dois "trilhos" (classes positiva e negativa) e seleciona a regra final ou seu complemento de De Morgan usando um comparador invariante à troca de rótulo.
Abstenção: O modelo abstém-se (retorna uma regra vazia) em empates exatos no processo de seleção, em vez de quebrar empates arbitrariamente.

4. Treinamento e Inferência

Treinamento Simetrizado: A função de perda é simetrizada pela média das predições sobre trocas de rótulo, embora o artigo note que a variante de apenas inferência (componentes 1–4) alcança acurácia quase idêntica.
Escalonamento Zero-Shot: O modelo é treinado em pequenos esquemas sintéticos ( $N=6$ a $12$) e avaliado em esquemas de até $N=1024$ sem retreinamento.

Principais Contribuições

Formalização da Simetria na Indução de Regras: O artigo enquadra a indução de regras binárias sob o grupo $G = S_M \times B_N \times Z_2^y$ , definindo a equivariância como a exigência de que a regra induzida se transforme exatamente como os dados de entrada se transformam.
Exportação Canônica com Garantias Exatas: A contribuição central é um mecanismo de decodificação que eleva a equivariância de pontuações contínuas para a regra exportada discreta. O Teorema 2 prova que, se as pontuações de entrada forem $G$ -equivariantes, a exportação canônica produz uma regra que é exatamente $G$ -equivariante (até a equivalência lógica) sem retreinamento.
Validação Empírica de Escalonamento: O autor demonstra que impor essas simetrias por construção permite que um modelo treinado em pequenos esquemas escale de forma confiável para esquemas muito maiores ( $N=1024$ ), enquanto o modelo base degrada para o desempenho aleatório.

Resultados

A avaliação utiliza testes de estresse sintéticos e 19 conjuntos de dados do mundo real (incluindo benchmarks UCI, problemas do MONK, MUTAG e CLEVR-Hans3).

Equivariância Exata (RQ1): Em dados sintéticos, o G-NRI completo alcança 100% de equivalência de regra através de 13 diferentes transformações de simetria. Em dados reais, o modelo mantém equivariância exata (1.000) para 17 dos 19 conjuntos de dados quando restrito a transformações válidas de esquema (onde a transformação preserva a validade da codificação). No entanto, em transformações brutas que quebram a validade da codificação (especificamente nos conjuntos de dados Mushroom e MUTAG), a equivalência de regra cai para 0.785, confirmando que a garantia se aplica especificamente a subgrupos que preservam a codificação.
Confiabilidade de Escalonamento (RQ2): Ao ser avaliado em esquemas de até $N=1024$ (85 $\times$ o máximo de treinamento), o G-NRI mantém estabilidade na acurácia do conjunto de suporte e na fidelidade da regra. Em contraste, o modelo base NRI degrada significamente, aproximando-se do acaso em grandes valores de $N$ . As correções arquiteturais sozinhas explicam a maior parte desse ganho.
Transferência do Mundo Real (RQ3): Em 19 conjuntos de dados reais, o G-NRI melhora a acurácia zero-shot sobre o modelo base, com a melhoria crescendo conforme o tamanho do esquema aumenta (ex: +5.67 pontos percentuais em esquemas com $N > 100$ ).
Qualidade da Regra: As regras exportadas são compactas. Em média, o G-NRI induz DNFs com ~2 cláusulas e ~6 literais, significativamente mais esparsas do que as bases de Árvores de Decisão ou RIPPER, embora com acurácia ligeiramente inferior à de modelos treinados por tarefa (como esperado para transferência zero-shot).

Significância e Alegações

O artigo afirma que impor a simetria por construção transforma um modelo pré-treinado de pequenos dados em um modelo de fundação reutilizável e interpretável, capaz de transferir para esquemas maiores.

Propriedade Matemática: O autor enfatiza que a equivariância exata da regra exportada é uma propriedade matemática do mecanismo de exportação canônica, não sendo específica da arquitetura NRI. Qualquer indutor que forneça pontuações de literais $G$ -equivariantes pode utilizar esta exportação.
Sem Necessidade de Retreinamento: O método alcança essas garantias sem necessidade de retreinamento ou ajuste por dataset, adicionando apenas um pequeno fator constante ao tempo de inferência (1.2–1.8 $\times$ ).
Escopo Modesto: O autor é modesto quanto à competitividade geral do modelo; ele não supera os aprendizes treinados por tarefa em todas as métricas (ex: acurácia em problemas multiclasse como "car"). No entanto, demonstra com sucesso que as restrições de simetria são essenciais para a confiabilidade da indução lógica com variáveis de esquema.

O trabalho valida que respeitar as simetrias do domínio (nomeação de átomos, polaridade, troca de rótulo) não é meramente um objetivo de aprendizado, mas uma necessidade estrutural para escalar a indução lógica além da distribuição de treinamento.