🤖 machine learning

Classification of integers based on residue classes via modern deep learning algorithms

Diese Arbeit zeigt auf, dass Deep-Learning-Modelle, AutoML-Plattformen und Large Language Models trotz der offensichtlichen Einfachheit der Klassifizierung von ganzen Zahlen nach Primresiduen ohne angemessenes Feature Engineering scheitern, während eine Methode, die lineare Regression auf Basisvektoren der Fourier-Reihe nutzt, erfolgreich ist, was die anhaltende kritische Bedeutung von Feature Engineering im modernen maschinellen Lernen unterstreicht.

Ursprüngliche Autoren: Da Wu, Jingye Yang, Mian Umair Ahsan, Kai Wang

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Da Wu, Jingye Yang, Mian Umair Ahsan, Kai Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Magie der Zahlen und die Grenzen der Maschinen

Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie einen riesigen Haufen nummerierter Steine sortieren müssen. Einige Steine sind „gerade“ (sie lassen sich in zwei gleiche Haufen aufteilen), und einige sind „ungerade“ (ein Stein bleibt übrig). Für Menschen ist das ein Kinderspiel; wir schauen einfach auf die letzte Ziffer. Wenn es eine 2, 4, 6, 8 oder 0 ist, wissen wir, dass sie gerade ist. Aber was, wenn das Spiel schwieriger wird? Was, wenn Sie Steine danach sortieren müssen, ob sie durch 3, 7 oder andere Primzahlen teilbar sind? Menschen haben spezielle Tricks dafür, wie zum Beispiel das Zusammenrechnen aller Ziffern einer Zahl, um zu sehen, ob die Summe durch 3 teilbar ist. Es ist ein bisschen wie ein Geheimcode, den wir in der Grundschule gelernt haben.

Stellen Sie sich nun vor, Sie übergeben dieses Stein-Sortier-Spiel einem superintelligenten Roboter. Sie könnten denken: „Wenn der Roboter klug genug ist, Poesie zu schreiben oder ein Auto zu steuern, sollte er auch in der Lage sein, Steine nach Zahlenregeln zu sortieren, oder?“ Das ist die große Frage, die Wissenschaftler im Bereich des Maschinellen Lernens beschäftigt. Maschinelles Lernen ist wie das Lehren eines Computers, indem man ihm Millionen von Beispielen zeigt, anstatt ihm ein Regelbuch zu geben. Der Computer sucht selbstständig nach Mustern. Es gibt auch „AutoML“-Tools, die wie magische Boxen funktionieren, die automatisch das beste „Robotergehirn“ für die Aufgabe auswählen, und „Large Language Models“ (LLMs), also Computer, die mit fast allen Texten der Welt trainiert wurden, was sie so wirken lässt, als wüssten sie alles. Aber hier ist der Haken: Nur weil ein Computer groß und klug ist, bedeutet das nicht, dass er die Logik der Zahlen so versteht wie wir. Er könnte lediglich Antworten auswendig lernen oder raten.

Das große Zahlen-Sortier-Experiment

In dieser Studie beschlossen ein Team von Forschern der University of Pennsylvania und des Children's Hospital of Philadelphia, diese hochtechnologischen Roboter auf die Probe zu stellen. Sie wollten sehen, ob moderne Deep-Learning-Algorithmen, automatisierte Werkzeuge und sogar die berühmtesten Chatbots der Welt die Regeln für die Teilbarkeit von Zahlen durch kleine Primzahlen (wie 2, 3 und 7) herausfinden können, ohne dass ihnen die Regeln explizit mitgeteilt wurden.

Das Setup: Den Robotern eine neue Sprache geben
Die Forscher begannen damit, verschiedene Arten von „Computergehirnen“ mit Zahlen zu füttern. Aber hier war der Clou: Sie versuchten, die Zahlen in verschiedenen „Sprachen“ oder Formaten einzuspeisen.

Rohzahlen: Einfach die Zahl selbst (z. B. 123).
Binär: Die Muttersprache des Computers aus 0 und 1 (wie ein Lichtschalter, der an oder aus ist).
Zifferlisten: Das Aufbrechen der Zahl in ihre einzelnen Bestandteile (1, 2, 3).
Ziffernsummen: Das Zusammenrechnen der Ziffern (1+2+3 = 6).

Sie testeten diese Eingaben bei drei Arten von Systemen:

Tiefe Neuronale Netze: Komplexe mathematische Schichten, die versuchen, das menschliche Gehirn nachzuahmen.
AutoML-Plattformen: Automatisierte Systeme großer Tech-Unternehmen (Amazon, Google, Microsoft), die darauf ausgelegt sind, automatisch die beste Lösung zu finden.
Large Language Models (LLMs): Berühmte KI-Chatbots wie GPT-4, LLaMA und Falcon, die angeblich „alles“ wissen.

Die schockierenden Ergebnisse: Die Roboter steckten fest
Die Ergebnisse waren eine Mischung aus „Wow“ und „Ups“.

Als die Forscher den Robotern die Zahlen in ihrer Rohform gaben (einfach die Zahl 123), waren die Deep-Learning-Modelle und AutoML-Tools schrecklich. Sie raten zufällig und kamen auf etwa 50 % richtig bei geraden/ungeraden Zahlen und nur 33 % richtig bei der Teilbarkeit durch 3. Es war, als würden die Roboter mit verbundenen Augen Dartpfeile werfen. Die „magischen Boxen“ (AutoML) scheiterten völlig, weil sie nicht wussten, wie sie die Zahlen betrachten sollten, um das Muster zu enthüllen.

Doch als die Forscher jedoch Feature Engineering anwandten – was nur eine schicke Art ist zu sagen: „Dem Roboter einen besseren Hinweis zu geben“ – wurden die Roboter plötzlich zu Genies.

Als sie die Zahlen in Binärzahlen (0 und 1) umwandelten, fanden die Roboter die gerade/ungerade-Regel mit 100 % Genauigkeit. Es stellt sich heraus, dass die letzte Stelle in der Binärdarstellung tatsächlich die Antwort ist.
Als sie den Robotern die Summe der Ziffern gaben (der Trick, den Menschen für die Teilbarkeit durch 3 verwenden), erreichten auch die Roboter eine Genauigkeit von 100 %.

Aber hier ist der interessanteste Teil: Die Roboter haben die Regel nicht von selbst „gelernt“. Sie waren nur deshalb erfolgreich, weil die Menschen ihnen die Antwort in einem anderen Format gegeben hatten. Die Studie zeigte, dass die Roboter ohne diese sorgfältig gestalteten Hinweise selbst die mächtigsten neuronalen Netze nicht in der Lage waren, das Muster zu erkennen, egal wie groß oder komplex sie waren.

Die Fourier-Reihe: Eine mathematische Abkürzung
Die Forscher versuchten auch einen anderen Ansatz, der gar nicht auf Deep Learning basierte. Sie nutzten eine Methode namens Fourier-Reihen-Regression. Stellen Sie sich das wie ein spezielles Wellenmuster-Werkzeug vor, um den Rhythmus in den Zahlen zu finden. Da die Teilung durch 3 oder 7 ein sich wiederholendes Muster erzeugt (wie ein Lied, das alle 3 oder 7 Noten in einer Schleife läuft), konnte dieses mathematische Werkzeug die Antwort mit sehr wenigen Beispielen perfekt vorhersagen. Es war schnell, einfach und zu 100 % genau für die getesteten Fälle (mod 3 und mod 7), was bewies, dass manchmal ein einfacher, altmodischer mathematischer Trick besser funktioniert als eine riesige, komplexe KI.

Die Chatbots: Schlau, aber ahnungslos
Schließlich fragte das Team die berühmten Chatbots (wie ChatGPT und Open-Source-Modelle), die Regeln zu erklären.

Bei kleinen Zahlen wie 2 oder 3 konnten die Chatbots manchmal die richtige Antwort geben.
Aber sobald die Forscher sie nach größeren Primzahlen (wie 7, 11 oder 23) fragten, begannen die Chatbots zu halluzinieren. Sie lieferten konsistent falsche und wenig informative Antworten, erfanden Regeln, gaben falsche Mathematik an oder sagten schlichtweg: „Verwenden Sie den Modulo-Operator“ (was im Grunde nur bedeutet, dem Computer zu sagen, die Mathematik zu machen, die er eigentlich selbst hätte lösen sollen). Selbst das neueste GPT-4 scheiterte, wenn man es bat, ein Computerprogramm zur Lösung zu entwerfen. Es konnte weder das richtige „Feature Engineering“ noch den besten Algorithmus finden.

Das große Fazit

Die wichtigste Lehre aus dieser Arbeit ist: Es reicht nicht aus, einen superintelligenten Computer zu haben; man muss ihm beibringen, wie er das Problem betrachten soll.

Die Forscher fanden heraus, dass „Feature Engineering“ – der menschliche Akt, Rohdaten in ein Format zu übersetzen, das das verborgene Muster offenbart – immer noch der wichtigste Schritt ist. Selbst in einer Ära, in der wir „AutoML“ (Maschinen, die die Modelle für uns auswählen) und „LLMs“ (Maschinen, die fast alle Wörter der Welt kennen) haben, können diese Werkzeuge die Regeln der Mathematik nicht einfach magisch selbst entdecken. Sie brauchen einen Menschen, der sagt: „Hey, schau dir die Ziffern an, oder schau dir die Binärzahlen an, oder addiere sie zusammen.“

Ohne diese menschliche Anleitung ist die fortschrittlichste KI der Welt wie ein Schüler, der das Wörterbuch auswendig gelernt hat, aber nicht weiß, wie man eine Grundrechenart durchführt. Die Studie kommt zu dem Schluss, dass KI zwar leistungsstark ist, aber immer noch stark auf menschliche Erkenntnis angewiesen ist, um Rohdaten in ein lösbares Rätsel zu verwandeln. Die Roboter sind schnell, aber sie brauchen uns immer noch, um die Taschenlampe zu halten.

Technische Zusammenfassung: Klassifizierung von ganzen Zahlen basierend auf Residuklassen mittels moderner Deep-Learning-Algorithmen

Problemstellung
Die Studie untersucht die Kapazität moderner maschineller Lernsysteme, ganze Zahlen basierend auf ihren Residuklassen bei Division durch kleine Primzahlen (speziell $p=2, 3, 7$ und bis zu $31$) zu klassifizieren. Während Menschen die Parität (mod 2) leicht bestimmen oder Quersummenregeln für die Teilbarkeit durch 3 anwenden können, postulieren die Autoren, dass diese Aufgabe eine nicht-triviale Herausforderung für Computer darstellt, insbesondere für KI-Systeme, die erwartet werden, mathematische Muster autonom zu erkennen, ohne auf explizit vom Menschen entworfene Regeln angewiesen zu sein. Die Kernfrage ist, ob hochmoderne Deep-Learning-Architekturen, Automated Machine Learning (AutoML)-Plattformen und Large Language Models (LLMs) in der Lage sind, diese Teilbarkeitsregeln effektiv aus Rohdaten zu lernen, oder ob sie fundamental auf menschlich entwickeltem Feature-Engineering basieren.

Methodik
Die Autoren führten eine umfassende Evaluierung über vier verschiedene methodische Kategorien unter Verwendung eines Stichprobenraums von nicht-negativen ganzen Zahlen bis zu $2^{32}-1$ durch.

Tiefe Neuronale Netze (DNNs): Die Studie testete Künstliche Neuronale Netze (ANN), Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN) und Bidirectional Encoder Representations from Transformers (BERT).
- Feature Engineering: Eine kritische Komponente der Methodik war die systematische Anwendung verschiedener Merkmalsrepräsentationen auf die Eingabe-Ganzzahlen. Diese umfassten:
  - Roh-Ganzwert-Repräsentationen.
  - Binäre und Basis-drei-Darstellungen.
  - N-Gramm-Kodierungen (One-gram, Two-gram, Three-gram und Kombinationen daraus), wobei Ziffern als Sequenzen behandelt wurden.
  - Erweiterte Kodierungen, die die Quersumme oder die Quersumme modulo $p$ (speziell für $p=3$ ) einbeziehen.
- Architektur: Das ANN verwendete eine einfache zweischichtige Struktur (64 und 32 Neuronen). CNNs nutzten 1D-Konvolutions- und Max-Pooling-Schichten. RNNs verwendeten eine einzelne LSTM-Schicht. BERT-Modelle wurden für die Sequenzklassifizierung feinjustiert.
Automated Machine Learning (AutoML): Die Autoren evaluierten Pipelines von Amazon (AWS Sagemaker), Google (Vertex AI) und Microsoft (Azure ML Studio). Diese Plattformen wurden mit Rohdaten und verschiedenen konstruierten Merkmalen getestet, um zu bestimmen, ob sie optimal geeignete Modelle und Merkmale autonom auswählen können.
Fourier-Reihen-Regression: Ein neuartiger mathematischer Ansatz wurde vorgeschlagen, der eine lineare Regression auf Fourier-Reihen-Basisfunktionen nutzt. Für eine gegebene Modulo $p$ wird das Eingabefeld $x$ in Sinus- und Kosinusvektoren transformiert: $\sin(2\pi j x / p)$ und $\cos(2\pi j x / p)$ für $j=1, \dots, \lfloor p/2 \rfloor$ . Es wurde die Methode der kleinsten Quadrate (OLS) verwendet, um die Labels anzupassen, wobei die Vorhersagen auf die nächste ganze Zahl gerundet wurden.
Large Language Models (LLMs): Die Studie bewertete die mathematischen Denkfähigkeiten von Open-Source-Modellen (GPT-J-6B, LLaMA-7B, Falcon-40B) und Closed-Source-Modellen (ChatGPT, GPT-4 mit Code Interpreter). Die Prompts waren darauf ausgelegt, Erklärungen von Teilbarkeitsregeln oder den Entwurf von Algorithmen zur Lösung des Klassifizierungsproblems zu provozieren.

Wichtigste Ergebnisse

Abhängigkeit vom Merkmalsraum: Die Leistungsfähigkeit aller Deep-Learning-Modelle hing entscheidend vom Eingangs-Merkmalsraum ab.
- Mod 2: Rohdaten lieferten eine Genauigkeit nahe dem Zufallsergebnis (~0,5). Die binäre Darstellung erreichte eine Genauigkeit von 1,000. N-Gramm-Kodierungen verbesserten die Genauigkeit auf ~0,8.
- Mod 3: Rohdaten und einfache N-Gramm-Kodierungen schnitten schlecht ab. Die Einbeziehung der „Quersumme“ oder der „Quersumme modulo 3“ in den Merkmalsvektor ermöglichte es den Modellen jedoch, eine hohe Genauigkeit (>0,9) zu erreichen.
- BERT-Spezifika: BERT erreichte eine Genauigkeit von 1,000 mit der „One-gram + Sum“-Kodierung, versagte jedoch (~0,33) bei der reinen „One-gram“-Kodierung. Die Autoren führen dies auf den Pre-training-Embedding-Raum von BERT zurück, der wahrscheinlich die rekursive Natur von Quersummen erfasst, während andere Netzwerke die Summe als großen, ungesehenen kontinuierlichen Wert behandelten.
AutoML-Limitierungen: AutoML-Plattformen scheiterten an einer effektiven Klassifizierung, wenn ihnen Rohdaten zur Verfügung gestellt wurden. Sie waren nur erfolgreich, wenn explizit konstruierte Merkmale (z. B. die Quersumme für mod 3) bereitgestellt wurden. Die Plattformen bevorzugten stark baumbasierte Algorithmen gegenüber Deep Learning für diese Aufgabe.
Erfolg der Fourier-Reihen: Die vorgeschlagene Methode der linearen Regression unter Verwendung von Fourier-Basisfunktionen erreichte eine Genauigkeit von 1,000 sowohl für das Mod-3- als auch für das Mod-7-Problem. Bemerkenswerterweise wurde dies mit einem minimalen Datensatz (200 Stichproben) erreicht, was zeigt, dass die periodische Natur der Residuenfunktion mit der korrekten mathematischen Basis mit wenigen Trainingsbeispielen perfekt erfasst werden kann.
LLM-Versagen:
- Open-Source-LLMs (GPT-J, LLaMA, Falcon) produzierten konsistent ungenaue und wenig informative Antworten bezüglich der Teilbarkeitsregeln für Primzahlen $p \geq 7$ und versagten oft auch bei kleineren Primzahlen.
- ChatGPT zeigte eine verbesserte Leistung für kleine Primzahlen, griff aber für $p \geq 23$ auf den Modulo-Operator (%) zurück und lieferte keine informative mathematische Regel.
- GPT-4, als es gebeten wurde, einen Deep-Learning-Algorithmus für das Problem zu entwerfen, generierte Code, der zwar syntaktisch korrekt war, aber versäumte, angemessene Feature-Engineering-Techniken zu identifizieren oder optimale Algorithmen auszuwählen, was zu einer ineffektiven Lösung führte.

Bedeutung und Schlussfolgerungen
Das Paper kommt zu dem Schluss, dass trotz der Fortschritte in AutoML und den Argumentationsfähigkeiten von Large Language Models das Feature Engineering eine unverzichtbare Aufgabe bleibt, um die Modellleistung und Interpretierbarkeit zu verbessern.

Feature Engineering ist entscheidend: Die Studie zeigt, dass eine Erhöhung der Modellkomplexität oder der Datensatzgröße nicht den Mangel an angemessenem Feature Engineering kompensieren kann. Ohne domänenspezifische Transformationen (wie die binäre Darstellung für mod 2 oder Quersummen für mod 3) scheitern selbst hochentwickelte Modelle daran, einfache mathematische Muster zu lernen.
Limitierungen der aktuellen KI: Die Unfähigkeit von AutoML, diese Merkmale autonom zu entdecken, sowie das Versagen von LLMs, Algorithmen für diese Probleme zu artikulieren oder zu entwerfen, deutet darauf darauf hin, dass aktuelle KI-Systeme keinen systematischen, autonomen Ansatz zur Erkennung grundlegender mathematischer Muster aus Trainingsdaten besitzen.
Mathematische Interpretierbarkeit: Die Fourier-Reihen-Regression bietet eine hochwirksame, interpretierbare und dateneffiziente Alternative zu Deep Learning für periodische Klassifizierungsprobleme, indem sie mit minimalen Trainingsdaten eine perfekte Genauigkeit erreicht.

Zusammenfassend argumentieren die Autoren, dass im Zeitalter von AutoML und LLMs das menschliche Domänenwissen durch Feature Engineering nach wie vor der primäre Treiber für den Erfolg bei der Lösung strukturierter mathematischer Probleme ist, und dass eine alleinige Abhängigkeit von diesen Modellen für solche Aufgaben ohne sorgfältige Datenaufbereitung riskant und oft ineffektiv ist.

Die Magie der Zahlen und die Grenzen der Maschinen

Das große Zahlen-Sortier-Experiment

Das große Fazit

Mehr davon