🤖 machine learning

Classification of integers based on residue classes via modern deep learning algorithms

Este artículo demuestra que, a pesar de la aparente simplicidad de clasificar enteros por residuos primos, los modelos de aprendizaje profundo, las plataformas de AutoML y los modelos de lenguaje de gran tamaño fallan sin una ingeniería de características adecuada, mientras que un método que utiliza la regresión lineal sobre vectores de base de series de Fourier tiene éxito, subrayando la continua importancia crítica de la ingeniería de características en el aprendizaje automático moderno.

Autores originales: Da Wu, Jingye Yang, Mian Umair Ahsan, Kai Wang

Publicado 2026-07-15

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Da Wu, Jingye Yang, Mian Umair Ahsan, Kai Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La magia de los números y los límites de las máquinas

Imagina que estás jugando un juego en el que tienes que clasificar una pila gigante de rocas numeradas. Algunas rocas son "pares" (pueden dividirse en dos pilas iguales) y otras son "impares" (sobra una roca). Para los humanos, esto es pan comido; solo miramos el último dígito. Si es un 2, 4, 6, 8 o 0, sabemos que es par. Pero, ¿qué pasa si el juego se vuelve más difícil? ¿Qué pasa si tienes que clasificar rocas según si pueden dividirse por 3, 7 u otros números primos? Los humanos tenemos trucos especiales para esto, como sumar todos los dígitos de un número para ver si el total es divisible por 3. Es un poco como un código secreto que aprendimos en la escuela primaria.

Ahora, imagina entregar este juego de clasificación de rocas a un robot superinteligente. Podrías pensar: "Si el robot es lo suficientemente inteligente como para escribir poesía o conducir un coche, debería ser capaz de clasificar rocas según reglas numéricas, ¿verdad?". Esta es la gran pregunta que los científicos se están haciendo en el campo del Aprendizaje Automático (Machine Learning). El aprendizaje automático es como enseñar a una computadora mostrándole millones de ejemplos en lugar de darle un libro de reglas. La computadora busca patrones por sí misma. También existen herramientas de "AutoML", que son como cajas mágicas que eligen automáticamente el mejor cerebro robótico para el trabajo, y los "Modelos de Lenguaje Extensos" (LLM), que son computadoras entrenadas con casi todo el texto del mundo, lo que las hace parecer como si lo supieran todo. Pero aquí está el truco: el hecho de que una computadora sea grande e inteligente no significa que entienda la lógica de los números de la misma manera que nosotros. Podría estar simplemente memorizando respuestas o adivinando.

El gran experimento de clasificación de números

En este estudio, un equipo de investigadores de la Universidad de Pensilvania y el Hospital Infantil de Filadelfia decidió poner a prueba a estos robots de alta tecnología. Querían ver si los algoritmos modernos de aprendizaje profundo, las herramientas automatizadas e incluso los chatbots más famosos del mundo podían descifrar las reglas para dividir números por números primos pequeños (como 2, 3 y 7) sin que se les dieran las reglas explícitamente.

La configuración: Dándole a los robots un nuevo lenguaje
Los investigadores comenzaron alimentando a diferentes tipos de cerebros informáticos con números. Pero aquí está el giro: intentaron alimentar los números en diferentes "lenguajes" o formatos.

Números brutos: Solo el número en sí (por ejemplo, 123).
Binario: El lenguaje nativo de la computadora de 0s y 1s (como un interrupto de luz que está encendido o apagado).
Listas de dígitos: Descomponer el número en sus partes individuales (1, 2, 3).
Sumas de dígitos: Sumar los dígitos juntos (1+2+3 = 6).

Probaron estos ingresos en tres tipos de sistemas:

Redes Neuronales Profundas: Capas complejas de matemáticas que intentan imitar el cerebro humano.
Plataformas de AutoML: Sistemas automatizados de grandes empresas tecnológicas (Amazon, Google, Microsoft) que supuestamente encuentran la mejor solución automáticamente.
Modelos de Lenguaje Extensos (LLMs): Chatbots de IA famosos como GPT-4, LLaMA y Falcon, que se supone que lo saben "todo".

Los resultados impactantes: Los robots se quedaron estancados
Los resultados fueron una mezcla de "¡Guau!" y "Ups".

Cuando los investigadores dieron a los robots los números en su forma bruta (solo el número 123), los modelos de aprendizaje profundo y las herramientas de AutoML fueron terribles. Adivinaban al azar, acertando aproximadamente el 50% para números pares/impares y solo el 33% para la división por 3. Era como si los robots estuvieran lanzando dardos con los ojos vendados. Las "cajas mágicas" (AutoML) fallaron por completo porque no sabían cómo mirar los números de una manera que revelara el patrón.

Sin embargo, cuando los investigadores utilizaron la ingeniería de características (feature engineering) —que es solo una forma elegante de decir "darle al robot una mejor pista"— los robots de repente se convirtieron en genios.

Cuando convirtieron los números a binario (0s y 1s), los robots descubrieron instantáneamente la regla de pares/impares con un 100% de precisión. Resulta que el último dígito en binario es la respuesta.
Cuando les dieron a los robots la suma de los dígitos (el truco que usan los humanos para dividir por 3), los robots también lograron un 100% de precisión.

Pero aquí está la parte más interesante: los robots no "aprendieron" la regla por sí mismos. Solo tuvieron éxito porque los humanos les dieron la respuesta en un formato diferente. El estudio demostró que, sin estas pistas cuidadosamente elaboradas, incluso las redes neuronales más potentes no podrían descifrar el patrón, sin importar cuán grandes o complejas fueran.

La Serie de Fourier: Un atajo matemático
Los investigadores también probaron un enfoque diferente que no dependía del aprendizaje profundo. Utilizaron un método llamado regresión de la serie de Fourier. Piensen en esto como usar una herramienta de patrones de ondas especial para encontrar el ritmo en los números. Dado que dividir por 3 o la serie de 7 crea un patrón repetitivo (como una canción que se repite cada 3 o 7 notas), esta herramienta matemática podía predecir la respuesta perfectamente con muy pocos ejemplos. Fue rápido, simple y 100% preciso para los casos probados (mod 3 y mod 7), demostrando que a veces un truco matemático simple y de la vieja escuela funciona mejor que una IA gigante y compleja.

Los Chatbots: Inteligentes pero ignorantes
Finalmente, el equipo preguntó a los chatbots famosos (como ChatGPT y modelos de código abierto) para que explicaran las reglas.

Para números pequeños como 2 o 3, los chatbots a veces podían dar la respuesta correcta.
Pero tan pronto como los investigadores preguntaron sobre números primos más grandes (como 7, 11 o 23), los chatbots empezaron a alucinar. Produjeron consistentemente respuestas incorrectas y poco informativas, inventando reglas, dando matemáticas erróneas o simplemente diciendo: "Use el operador módulo" (que es solo decirle a la computadora que haga la matemática que se suponía debía descifrar).
Incluso el nuevo GPT-4, cuando se le pidió que diseñara un programa informático para resolver esto, falló al crear una solución eficiente. No pudo descifrar la "ingeniería de características" correcta o el mejor algoritmo para usar.

La gran conclusión

La lección principal de este artículo es que tener una computadora superinteligente no es suficiente; tienes que enseñarle cómo mirar el problema.

Los investigadores descubrieron que la "ingeniería de características" —el acto humano de traducir datos brutos en un formato que revela el patrón oculto— sigue siendo el paso más importante. Incluso en una era en la que tenemos "AutoML" (máquinas que eligen los modelos por nosotros) y "LLMs" (máquinas que conocen casi todas las palabras del mundo), estas herramientas no pueden descubrir mágicamente las reglas de las matemáticas por sí mismas. Necesitan que un humano diga: "Oye, mira los dígitos, o mira el binario, o súmalos".

Sin esta guía humana, la IA más avanzada del mundo es como un estudiante que se ha memorizado el diccionario pero no sabe hacer aritmética. El estudio concluye que, si bien la IA es poderosa, todavía depende en gran medida de la visión humana para convertir los datos brutos en un rompecabezas resoluble. Los robots son rápidos, pero todavía nos necesitan a nosotros para sostener la linterna.

Resumen Técnico: Clasificación de Enteros Basada en Clases de Residuos mediante Algoritmos Modernos de Aprendizaje Profundo

Planteamiento del Problema
El estudio investiga la capacidad de los sistemas modernos de aprendizaje automático para clasificar enteros basados en sus clases de residuo cuando se dividen por números primos pequeños (específicamente $p=2, 3, 7$ y hasta $31$). Mientras que los humanos pueden determinar fácilmente la paridad (mod 2) o aplicar reglas de suma de dígitos para la divisibilidad por 3, los autores postulan que esta tarea presenta un desafío no trivial para las computadoras, particularmente para los sistemas de Inteligencia Artificial que se espera que disciernan patrones matemáticos de forma autónoma sin reglas diseñadas explícitamente por humanos. La pregunta central es si las arquitecturas de aprendizaje profundo de última generación, las plataformas de Aprendizaje Automático Automatizado (AutoML) y los Modelos de Lenguaje de Gran Escala (LLMs) pueden aprender eficazmente estas reglas de divisibilidad a partir de datos brutos o si dependen fundamentalmente de características diseñadas por humanos (human-engineered features).

Metodología
Los autores llevaron a cabo una evaluación exhaustiva a través de cuatro categorías metodológicas distintas utilizando un espacio muestral de enteros no negativos hasta $2^{32}-1$ .

Redes Neuronales Profundas (DNNs): El estudio probó Redes Neuronales Artificiales (ANN), Redes Neuronales Convolucionales (CNN), Redes Neuronales Recurrentes (RNN) y Representaciones Bidireccionales de Codificadores desde Transformadores (BERT).
- Ingeniería de Características (Feature Engineering): Un componente crítico de la metodología fue la aplicación sistemática de diversas representaciones de características para los enteros de entrada. Estas incluyeron:
  - Valores enteros brutos.
  - Representaciones binarias y de base tres.
  - Codificaciones N-grama (Unigrama, Bigrama, Trigrama y combinaciones de los mismos) tratando los dígitos como secuencias.
  - Codificaciones mejoradas que incorporan la suma de los dígitos o la suma de los dígitos módulo $p$ (específicamente para $p=3$ ).
- Arquitectura: La ANN utilizó una estructura simple de dos capas (64 y 32 neuronas). Las CNN utilizaron capas de convolución 1D y max-pooling. Las RNN emplearon una única capa LSTM. Los modelos BERT fueron ajustados (fine-tuned) para la clasificación de secuencias.
Aprendizaje Automático Automatizado (AutoML): Los autores evaluaron canales (pipelines) de Amazon (AWS Sagemaker), Google (Vertex AI) y Microsoft (Azure ML Studio). Estas plataformas fueron probadas con datos brutos y diversas características diseñadas para determinar si podían seleccionar autónomamente los modelos y las características óptimas.
Regresión de Series de Fourier: Se propuso un enfoque matemático novedoso utilizando regresión lineal sobre vectores de base de Fourier. Para un módulo $p$ dado, el valor de entrada $x$ se transforma en vectores de seno y coseno: $\sin(2\pi j x / p)$ y $\cos(2\pi j x / p)$ para $j=1, \dots, \lfloor p/2 \rfloor$ . Se utilizó la regresión de Mínimos Cuadrados Ordinarios (OLS) para ajustar las etiquetas, redondeando las predicciones al entero más cercano.
Modelos de Lenguaje de Gran Escala (LLMs): El estudio evaluó las capacidades de razonamiento matemático de modelos de código abierto (GPT-J-6B, LLaMA-7B, Falcon-40B) y modelos de código cerrado (ChatGPT, GPT-4 con intérprete de código). Los prompts fueron diseñados para suscitar explicaciones de reglas de divisibilidad o el diseño de algoritmos para resolver el problema de clasificación.

Resultados Clave

Dependencia del Espacio de Características: El rendimiento de todos los modelos de aprendizaje profundo dependió críticamente del espacio de características de entrada.
- Mod 2: Los datos brutos arrojaron una precisión cercana al azar (~0.5). La representación binaria logró una precisión de 1.000. Las codificaciones N-grama mejoraron la precisión a ~0.8.
- Mod 3: Los datos brutos y las codificaciones N-grama simples funcionaron deficientemente. Sin embargo, incorporar la "suma de los dígitos" o la "suma de los dígitos módulo 3" en el vector de características permitió a los modelos lograr una alta precisión (>0.9).
- Especificidades de BERT: BERT logró una precisión de 1.000 con la codificación "Unigrama + suma", pero falló (~0.33) solo con la codificación "Unigrama". Los autores atribuyen esto al espacio de incrustación (embedding space) de pre-entrenamiento de BERT, que probablemente captura la naturaleza recursiva de las sumas de dígitos, mientras que otras redes trataron la suma como un valor continuo no visto anteriormente.
Limitaciones de AutoML: Las plataformas de AutoML no lograron una clasificación efectiva cuando se les proporcionaron datos brutos. Solo tuvieron éxito cuando se les proporcionaron características explícitamente diseñadas (por ejemplo, la suma de los dígitos para mod 3). Las plataformas favorecieron fuertmente los algoritmos basados en árboles sobre el aprendizaje profundo para esta tarea.
Éxito de las Series de Fourier: El método de regresión propuesto utilizando vectores de base de Fourier logró una precisión de 1.000 tanto para los problemas de mod 3 como para el de mod 7. Notablemente, esto se logró con un conjunto de datos mínimo (200 muestras), demostrando que la naturaleza periódica de la función de residuo puede capturarse perfectamente con pocos ejemplos de entrenamiento cuando se utiliza la base matemática correcta.
Fracasos de los LLM:
- Los LLM de código abierto (GPT-J, LLaMA, Falcon) produjeron consistentemente respuestas inexactas e informativas respecto a las reglas de divisibilidad para primos $p \geq 7$ , y a menudo fallaron también para primos más pequeños.
- ChatGPT mostró un rendimiento mejorado para primos pequeños, pero recurrió al uso del operador módulo (%) para $p \geq 23$ , sin proporcionar una regla matemática informativa.
- GPT-4, al ser consultado para diseñar un algoritmo de aprendizaje profundo para el problema, generó código que era sintácticamente correcto pero que falló al no identificar las técnicas de ingeniería de características apropiadas ni seleccionar los algoritmos óptimos, resultando en una solución ineficaz.

Significancia y Conclusiones
El artículo concluye que, a pesar de los avances en AutoML y las capacidades de razonamiento de los Modelos de Lenguaje de Gran Escala, la ingeniería de características sigue siendo una tarea indispensable para mejorar el rendimiento y la interpretabilidad de los modelos.

La Ingeniería de Características es Primordial: El estudio demuestra que aumentar la complejidad del modelo o el tamaño del conjunto de datos no puede compensar la falta de una ingeniería de características adecuada. Sin transformaciones específicas del dominio (como la representación binaria para mod 2 o las sumas de dígitos para mod 3), incluso los modelos sofisticados fallan al intentar aprender patrones matemáticos simples.
Limitaciones de la IA Actual: La incapacidad de AutoML para descubrir autónomamente estas características y el fracaso de los LLM para articular o diseñar algoritmos para estos problemas sugiere que los sistemas de IA actuales carecen de un enfoque sistemático y autónomo para discernir patrones matemáticos fundamentales a partir de datos de entrenamiento.
Interpretabilidad Matemática: El método de regresión de series de Fourier ofrece una alternativa altamente efectiva, interpretable y eficiente en términos de datos para problemas de clasificación periódica, logrando una precisión perfecta con un mínimo de datos de entrenamiento.

En resumen, los autores argumentan que en la era de AutoML y los LLM, el conocimiento humano del dominio aplicado a través de la ingeniería de características sigue siendo el principal motor del éxito al resolver problemas matemáticos estructurados, y que la dependencia de estos modelos para tales tareas sin una preparación cuidadosa de los datos es arriesgada y, a menudo, ineficaz.

La magia de los números y los límites de las máquinas

El gran experimento de clasificación de números

La gran conclusión

Más como este