🤖 machine learning

Pretrain on Small Synthetic Data, Scale Large for Free: Symmetry-Aware Foundation Model for Logic Rule Induction

Este artículo presenta un modelo fundacional consciente de la simetría para la inducción de reglas lógicas que, al imponer una equivariancia exacta mediante un novedoso mecanismo de exportación canónica, permite que un modelo preentrenado con datos sintéticos pequeños generalice reglas interpretables y precisas a esquemas significativamente más grandes sin necesidad de reentrenamiento.

Autores originales: Yin Jun Phua

Publicado 2026-08-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yin Jun Phua

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El dilema del detective: Encontrando reglas en un mundo ruidoso

Imagina que eres un detective intentando resolver un misterio, pero en lugar de huellas dactilares, buscas patrones ocultos en una pila de pistas. En el mundo de la informática, esto se llama "inducción de reglas". El objetivo es enseñar a una computadora a observar un conjunto de ejemplos —como una lista de quién compró qué, o cómo reacciona un químico— y deducir la regla simple de "si-entonces" que lo explica todo. ¿El problema? La computadora debe ser lo suficientemente inteligente como para ignorar el ruido y los nombres específicos de las personas o cosas involucradas. Si la regla es "Si llueve, el césped se moja", no debería importar si llamas a la lluvia "agua cayendo del cielo" o "precipitación", o si cambias el orden de los ejemplos en tu libreta.

Durante mucho tiempo, las computadoras fueron terribles en esto. Memorizaban los nombres específicos de las pistas (como "Juan" o "Átomo 5") en lugar de aprender la lógica real. Si les dabas un caso nuevo con nombres diferentes, se confundían. Aquí es donde entran los "modelos fundacionales". Piensa en ellos como estudiantes superinteligentes que estudian miles de pequeños acertijos inventados para aprender el concepto de la lógica en sí, en lugar de solo memorizar las respuestas a acertijos específicos. La gran pregunta que los investigadores se hacen es: ¿Podemos construir una computadora que aprenda la forma de la lógica tan bien que pueda resolver acertijos nuevos y mucho más grandes que nunca ha visto, sin necesidad de estudiar para ellos otra vez?

La gran idea del artículo: Enseñar a la lógica a ignorar el "quién" y el "cuándo"

Este artículo presenta una nueva y astuta forma de construir una de estas computadoras de aprendizaje lógico, llamada el Modelo Fundacional con Conciencia de Simetría. El autor, Yin Jun Phua, se dio cuenta de que la mejor manera de enseñar a una computadora a generalizar es obligarla a respetar las "simetrías". En el lenguaje cotidiano, la simetría aquí significa que la computadora debe tratar al mundo de manera justa: no debería importarle si desordenas el orden de los ejemplos, si renombras las variables, si cambias un interruptor de "encendido" a "apagado" o si intercambias las etiquetas de "sí" y "no".

Los investigadores partieron de un modelo existente llamado Inductor de Reglas Neuronal (NRI). Este modelo ya era bastante bueno; podía aprender reglas a partir de conjuntos de datos pequeños y con ruido. Sin embargo, tenía un fallo: dependía de atajos basados en el orden de los datos o en los nombres específicos de los átomos (los bloques de construcción de la lógica). Si le dabas un acertijo con 1,000 átomos en lugar de los 12 con los que fue entrenado, fallaría porque estaba dependiendo de esos nombres específicos en lugar de la lógica subyacente.

Para solucionar esto, el autor no reentrenó el modelo desde cero. En su lugar, construyó un "envoltorio con conciencia de simetría" alrededor de él. Añadió algunos ajustes arquitectónicos y un paso especial de "exportación" que actúa como un traductor. Así es como funciona en términos sencillos:

Los arreglos arquitectónicos: Eliminaron las partes del modelo que se preocupaban por el orden de los datos o los nombres específicos de los átomos. Hicieron al modelo "ciego" a estos detalles irrelevantes, obligándolo a centrarse solo en las relaciones entre las pistas.
La "Exportación Canónica": Esta es la estrella del artículo. Cuando el modelo adivina una regla, produce un conjunto de puntuaciones. El nuevo método de exportación toma estas puntuaciones y las traduce a una regla final de una manera muy estricta y estandarizada. Asegura que si intercambias los nombres de los átomos en la entrada, la regla de salida intercambie los nombres de la misma manera exacta. Si inviertes un interruptor, la regla se invierte de vuelta. Lo hace sin necesidad de aprender nada nuevo; es una garantía matemática integrada en el proceso de traducción.

Lo que encontraron: Escalar de forma gratuita

El equipo probó su nuevo modelo, al que llaman G-NRI, en algunos desafíos muy difíciles.

La "Prueba de Estrés": Entrenaron el modelo con acertijos diminutos con solo 6 a 12 variables (átomos). Luego, congelaron el modelo y le pidieron que resolviera acertijos con hasta 1,024 variables. Eso es 85 veces más grande de lo que fue entrenado.
El Resultado: El modelo original (la línea base) se desmoronó a medida que los acertijos se hacían más grandes, cayendo al nivel de adivinar al azar. Pero el nuevo modelo G-NRI se mantuvo fuerte. Mantuvo su precisión alta y, lo más importante, las reglas que producía eran matemáticamente consistentes. Si desordenaban la entrada, la regla de salida se desordenaba perfectamente para coincidir.
Prueba del Mundo Real: También lo probaron en 19 conjuntos de datos del mundo real, como registros médicos y datos químicos. Aunque no superó a los modelos que fueron entrenados específicamente para cada conjunto de datos (lo cual es de esperar de un modelo "zero-shot"), funcionó significativamente mejor que el modelo original, especialmente en los conjuntos de datos más grandes. De hecho, en algunos conjuntos de datos grandes, incluso superó la suposición de la "clase mayoritaria" (simplemente adivinar la respuesta más común).

La conclusión: Una garantía matemática, no solo una suposición

La parte más emocionante de este artículo no es solo que el modelo mejoró; es por qué mejoró. El autor demostró que su método de "exportación canónica" es una garantía matemática. Siempre que las puntuaciones internas del modelo respeten las simetrías, la regla final debe respetarlas también. Esto no es un accidente afortunado; es una propiedad del diseño.

Descubrieron que al imponer estas simetrías "por construcción" (incorporándolas en el sistema en lugar de esperar que el modelo las aprenda), convirtieron un modelo de pocos datos en una herramienta reutilizable que puede manejar problemas masivos y complejos. El modelo no necesitó ser reentrenado para los acertijos grandes; solo necesitaba el "traductor" adecuado para leer su mente.

En resumen, este artículo muestra que si le enseñas a una computadora a ignorar los detalles irrelevantes (como los nombres y el orden) y a centrarse solo en la estructura lógica, puede escalar para resolver problemas mucho más allá de su entrenamiento. Es como enseñarle a un detective a reconocer el patrón de un crimen en lugar de memorizar los rostros de los sospechosos, permitiéndole resolver casos en ciudades que nunca ha visitado. El autor sugiere que este enfoque hace que el modelo sea confiable para la transferencia "zero-shot", lo que significa que puede saltar de datos de entrenamiento sintéticos pequeños a aplicaciones del mundo real de gran escala con un alto grado de confianza, manteniendo siempre las reglas que genera simples y fáciles de leer para los humanos.

Resumen Técnico: Modelo de Base con Conciencia de Simetría para la Inducción de Reglas

Planteamiento del Problema

La inducción de reglas lógicas busca aprender hipótesis interpretables (específicamente, reglas en Forma Normal Disyuntiva, o DNF) que se generalicen a través de diferentes esquemas proposicionales. Los enfoques existentes, como la Programación Lógica Inductiva (ILP) y el Aprendizaje desde la Transición de Interpretaciones (LFIT), suelen tener dificultades con datos ruidosos, parcialmente observados o no vistos. Si bien los métodos neuro-simbólicos ofrecen tolerancia al ruido, típicamente requieren un entrenamiento por tarea, lo que les impide actuar como verdaderos modelos de base capaces de realizar transferencia zero-shot a nuevos esquemas.

Una barrera crítica para escalar estos modelos es la violación de las simetrías estructurales. Un inductor de reglas robusto debe respetar cuatro simetrías clave inherentes a los problemas lógicos:

Orden de los Ejemplos ( $S_M$ ): Permutar el orden de los ejemplos de entrenamiento no debería cambiar la regla aprendida.
Renombramiento de Átomos ( $S_N$ ): Renombrar los átomos (variables) debería resultar en una regla correspondientemente renombrada.
Inversiones de Polaridad ( $Z_2^N$ ): Cambiar la polaridad de un átomo (por ejemplo, $x_j \to \neg x_j$ ) debería invertir el literal correspondiente en la regla.
Intercambio de Etiquetas ( $Z_2^y$ ): Intercambiar las etiquetas de salida (0/1) debería resultar en el complemento booleano de la regla aprendida.

Los modelos de base anteriores, como el Neural Rule Inducer (NRI), respetan el orden de los ejemplos pero fallan en mantener la equivariancia bajo el renombramiento de átomos, la inversión de polaridad o el intercambio de etiquetas. En consecuencia, su rendimiento se degrada significáneamente cuando se aplican a esquemas más grandes que los vistos durante el entrenamiento, y sus reglas exportadas no se transforman correctamente bajo operaciones de simetría.

Metodología

El artículo propone G-NRI, una versión del Neural Rule Inducer restaurada con simetría. La contribución central no es un nuevo algoritmo de aprendizaje, sino un mecanismo de exportación canónico y modificaciones arquitectónicas específicas que imponen una equivariancia exacta por construcción, sin requerir reentrenamiento ni parámetros aprendibles adicionales.

1. Definición del Grupo de Simetría

El problema se enmarca bajo el grupo de simetría $G = S_M \times B_N \times Z_2^y$ , donde $B_N = S_N \ltimes Z_2^N$ representa permutaciones de átomos con signo. Un mapa es $G$ -equivariante si conmuta con cada transformación en $G$ .

2. Correcciones Arquitectónicas (Restauración de $B_N$ )

Para asegurar que la generación de puntuaciones internas del NRI sea equivariante bajo la permutación de átomos y la inversión de polaridad, se realizan tres modificaciones específicas en el codificador y el decodificador:

Característica de Signo de Literal Cero: La característica constante que distingue literales positivos de negativos se establece en cero, evitando que el modelo dependa de representaciones de signo fijas.
Desactivación de Claves de Contenido de Atención de Ejemplos: Se desactivan las claves aprendidas para los ejemplos para evitar que la agregación dependa de ordenamientos específicos de átomos.
Selección de Empate Completa (Tie-Complete): En lugar de romper los empates entre pares de literales mediante el índice del átomo (lo que rompe la invarianza de permutación), el modelo utiliza una selección "tie-complete" que retiene todos los pares con puntuaciones empatadas con el $k$ -ésimo mejor.
Embeddings Promediados por Polaridad: Para la equivariancia $Z_2^N$ , los embeddings de los pares seleccionados se promedian sobre sus inversiones de polaridad.

3. Exportación de Regla Canónica (Restauración de $Z_2^y$ y de $G$ completo)

El artículo introduce una exportación canónica que decodifica reglas discretas a partir de puntuaciones continuas de literales ( $p^+, p^-$ ) de una manera matemáticamente garantizada como equivariante:

Puntuación de Presencia ( $s_j$ ): Definida como $\max(p^+_j, p^-_j)$ , invariante a los cambios de polaridad.
Contraste con Signo ( $d_j$ ): Definido como $p^+_j - p^-__j$ , el cual cambia de signo bajo la inversión de polaridad.
Lógica de Decisión: Un átomo se incluye si $s_j \ge 0.5$ y $d_j \neq 0$ . La polaridad se determina por el signo de $d_j$ . Si $d_j = 0$ (empate exacto), el átomo se omite (abstención) en lugar de asignarle arbitrariamente una polaridad.
Selección de Doble Carril (Dual-Rail): Para manejar los intercambios de etiquetas, el modelo promedia las predicciones de dos "carriles" (clase positiva y clase negativa) y selecciona la regla final o su complemento de De Morgan mediante un comparador invariante al intercambio de etiquetas.
Abstención: El proceso de exportación se abstiene (devuelve una regla vacía) ante empates exactos en el proceso de selección, en lugar de romperlos arbitrariamente.

4. Entrenamiento e Inferencia

Entrenamiento Simetrizado: La función de pérdida se simetriza promediando las predicciones sobre los intercambios de etiquetas, aunque el artículo señala que la variante de solo inferencia (componentes 1–4) logra una precisión casi idéntica.
Escalado Zero-Shot: El modelo se entrena en esquemas sintéticos pequeños ( $N=6$ a $12$) y se evalúa en esquemas de hasta $N=1024$ sin reentrenamiento.

Principales Contribuciones

Formalización de la Simetría en la Inducción de Reglas: El artículo sitúa la inducción de reglas binarias bajo el grupo $G = S_M \times B_N \times Z_2^y$ , definiendo la equivariancia como el requisito de que la regla inducida se transforme exactamente como se transforma la entrada de los datos.
Exportación Canónica con Garantías Exactas: La contribución central es un mecanismo de decodificación que eleva la equivariancia de las puntuaciones continuas a la regla exportada discreta. El Teorema 2 demuestra que si las puntuaciones de entrada son $G$ - equivariantes, la exportación canónica produce una regla que es exactamente $G$ -equivariante (salvo equivalencia lógica) sin necesidad de reentrenamiento.
Validación Empírica del Escalado: El autor demuestra que imponer estas simetrías por construcción permite que un modelo entrenado en esquemas pequeños escale de manera fiable a esquemas mucho más grandes ( $N=1024$ ), mientras que el modelo base se degrada.

Resultados

La evaluación utiliza pruebas de estrés sintéticas y 19 conjuntos de datos del mundo real (incluyendo benchmarks de UCI, problemas de MONK, MUTAG y CLEVR-Hans3).

Equivarianza Exacta (RQ1): En datos sintéticos, el G-NRI completo logra un 100% de equivalencia de reglas a través de 13 transformaciones de simetría diferentes. En datos reales, el modelo mantiene una equivarianza exacta (1.000) para 17 de los 19 conjuntos de datos cuando se restringe a transformaciones válidas para el esquema (donde la transformación preserva la validez de la codificación). Sin embargo, en transformaciones puras que rompen la validez de la codificación (específicamente en los conjuntos de datos Mushroom y MUTAG), la equivalencia de la regla cae a 0.785, confirmando que la garantía se sostiene específicamente para los subgrupos que preservan la codificación.
Fiabilidad de Escalado (RQ2): Al evaluar en esquemas de hasta $N=1024$ (85 veces el máximo de entrenamiento), el G-NRI mantiene una precisión estable en el conjunto de soporte y la fidelidad de la regla. En contraste, el modelo base se degrada significativamente, acercándose al azar en valores altos de $N$ . Las correcciones arquitectónicas por sí solas explican la mayor parte de esta ganancia.
Transferencia al Mundo Real (RQ3): En 19 conjuntos de datos reales, G-NRI mejora la precisión zero-shot sobre el modelo base, con una mejora que crece a medida que aumenta el tamaño del esquema (por ejemplo, +5.67 puntos porcentuales en esquemas con $N > 100$ ).
Calidad de la Regla: Las reglas exportadas son compactas. En promedio, G-NRI induce DNF con aproximadamente 2 cláusulas y ~6 literales, significativamente más dispersas que los baselines de Árboles de Decisión o RIPPER, aunque con una precisión ligeramente menor que los modelos entrenados por tarea (como era de esperar para la transferencia zero-shot).

Significado y Reivindicaciones

El artículo sostiene que imponer la simetría por construcción transforma un modelo preentrenado de datos pequeños en un modelo de base reutilizable, interpretable y capaz de transferirse a esquemas más grandes.

Propiedad Matemática: El autor enfatiza que la equivalencia exacta de la regla exportada es una propiedad matemática del mecanismo de exportación canónica, no es específica de la arquitectura NRI. Cualquier inductor que proporcione puntuaciones de literales $G$ - equivariantes puede utilizar esta exportación.
Sin Necesidad de Reentrenamiento: El método logra estas garantías sin reentrenamiento ni ajuste por dataset, añadiendo solo un pequeño factor constante al tiempo de inferencia (1.2–1.8 $\times$ ).
Alcance Modesto: El autor es modesto respecto a la competitividad general de su modelo; no supera a los aprendices entrenados por tarea en todas las métricas (por ejemplo, la precisión en problemas multiclase como "car"). Sin embargo, demuestra con éxito que las restricciones de simetría son esenciales para la fiabilidad de los modelos de base de variable de esquema.

El trabajo valida que respetar las simetrías del dominio (renombramiento de átomos, inversión de polaridad, intercambio de etiquetas) no es meramente un objetivo de aprendizaje, sino una necesidad estructural para escalar la inducción lógica más allá de la distribución de entrenamiento.