🤖 AI

FactorHD: A Hyperdimensional Computing Model for Multi-Object Multi-Class Representation and Factorization

Dit artikel introduceert FactorHD, een nieuw Hyperdimensional Computing-model dat gebruikmaakt van symbolische codering met een memorisatieclausule en een efficiënt factorisatiealgoritme om complexe multi-object klasse-subklasse relaties effectief te representeren en te factoriseren, waardoor beperkingen zoals de superpositie-catastrofe worden overwonnen terwijl significante versnellingen en een hoge nauwkeurigheid worden bereikt.

Oorspronkelijke auteurs: Yifei Zhou, Xuchu Huang, Chenyu Ni, Min Zhou, Zheyu Yan, Xunzhao Yin, Cheng Zhuo

Gepubliceerd 2026-07-29

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Yifei Zhou, Xuchu Huang, Chenyu Ni, Min Zhou, Zheyu Yan, Xunzhao Yin, Cheng Zhuo

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen getallen verwerken, maar ook echt "denken" zoals mensen, waarbij ze de ruwe patroonherkenningskracht van onze hersenen combineren met de logische precisie van een wiskundige. Dit is het domein van Neuro-symbolische AI, een vakgebied dat probeert machines te bouwen die over de wereld kunnen redeneren, in plaats van deze alleen maar uit het hoofd te leren. In het hart van deze inspanning ligt een concept genaamd Hyperdimensionale Computing (HDC). Zie HDC als een gigantische, multidimensionale archiefkast waar elk stukje informatie een massieve, unieke vector is (een lange lijst met getallen). In dit systeem kun je twee items aan elkaar "binden" (zoals een hond en de kleur rood) om een nieuw, uniek kenmerk te creëren, of ze bij elkaar "bundelen" (zoals een hond en een kat) om ze samen in een stapel op te slaan. Het is ongelooflijk snel en goed in het omgaan met ruis, net zoals ons brein het gezicht van een vriend kan herkennen, zelfs op een wazige foto. Er is echter een addertje onder het gras: wanneer je probeert complexe stambomen of hiërarchieën op te slaan — zoals "Fido is een Spaniël, wat een Hond is, wat een Dier is" — worden oudere archiefsystemen rommelig. Ze hebben moeite om een enkel item uit de stapel te halen zonder de rest van de informatie kwijt te raken, een probleem dat bekend staat als de "superpositie-catastrofe".

Maak kennis met FactorHD, een nieuw model voorgesteld door onderzoekers van de Universiteit van Zhejiang dat fungeert als een meesterbibliothecaris voor deze hyperdimensionale bestanden. Het artikel suggereert dat FactorHD de rommeligheid van het organiseren van meerdere objecten met complexe, meerlagige relaties oplost. In plaats van gewoon alles in een stapel te gooien, gebruikt FactorHD een slimme nieuwe coderingmethode die een "geheugenclausule" aan de mix toevoegt. Stel je voor dat je een specif kind boek probeert te vinden in een bibliotheek waar alle boeken aan elkaar geplakt zitten in een gigantische bal. Oude methoden zouden vereisen dat je aan elke individuele draad trekt om te zien wat erin zit, waarbij je vaak in de knoop raakt. FactorHD koppelt echter een speciale, unieke tag aan elk boek voordat ze worden vastgeplakt. Wanneer je een specifiek boek wilt vinden, zoek je gewoon naar die tag, waardoor je het gewenste boek direct scheidt van de rest zonder de hele bal te hoeven ontwarren. De onderzoekers ontdekten dat deze methode de rommel niet alleen ontwarrt, maar dit ook razendsnel doet. In hun tests was FactorHD tot wel 5.667 keer sneller dan eerdere modellen bij het verwerken van enorme hoeveelheden data, terwijl de nauwkeurigheid ongelooflijk hoog bleef (rond de 92,48% op de Cifar-10 dataset wanneer gekoppeld aan een standaard neuraal netwerk). Het suggereert dat door de manier waarop we de "tags" op onze data schrijven te veranderen, we AI veel beter kunnen laten begrijpen hoe complexe, echte hiërarchieën werken zonder de weg kwijt te raken in de ruis.

Technische Samenvatting: FactorHD

Probleemstelling
Neuro-symbolische kunstmatige intelligentie (neuro-symbolische AI) vertrouwt op Hyperdimensional Computing (HDC) om logische analyse en redeneren uit te voeren. Hoewel bestaande HDC-modellen effectief eenvoudige class-instance of class-class relaties kunnen representeren met behulp van binding-bundling structuren, worstelen ze met de complexere class-subclass relatie, waarbij meerdere objecten geassocieerd zijn met verschillende niveaus van klassen en subklassen (bijv. dieren $\to$ honden $\to$ spaniëls $\to$ Fido).

Huidige modellen worden geconfronteerd met drie primaire uitdagingen in dit domein:

Superpositie-catastrofe: Wanneer meerdere objecten worden gerepresenteerd, raken subclass-items vermengd en ononderscheidbaar.
Het Probleem van 2: Het gelijktijdig representeren van verschillende identieke objecten leidt tot informatieverlies.
Inefficiëntie in Factorisatie: Naarmate de hiërarchie grootte (aantal klassen en subklassen) schaalt, vereisen bestaande modellen uitputtende iteratieve unbinding-operaties en gelijkenismetingen. Dit resulteert in hoge computationele kosten en tijdcomplexiteit (vaak boven $O(N^2M)$ ), wat ze ongeschikt maakt voor grootschalige scenario's. Bovendien vereisen huidige modellen vaak volledige factorisatie van een object, zelfs wanneer slechts een subset van subklassen van belang is.

Methodologie: FactorHD
De auteurs stellen FactorHD voor, een nieuw HDC-model ontworpen om complexe class-subclass hiërarchieën efficiënt te representeren en te factoriseren. De methodologie bestaat uit twee kerncomponenten:

Symbolische Codering (Bundling-Binding-Bundling):
- FactorHD introduceert een symbolische coderingsmethode die een extra memorisatieclausule (een redundante klasse-label, aangeduid als LABEL) implementeert om items te verbinden.
- De structuur volgt een bundling-binding-bundling vorm:
  - Subclass-niveaus die tot dezelfde klasse behoren, worden gecombineerd via bundling (optelling).
  - Verschillende klassen worden verbonden via binding (vermenigvuldiging).
  - Verschillende objecten worden verbonden via bundling.
- Cruciaal is dat zelfs als een specifieke klasse-item niet geassocieerd is met een object, het model zijn klasse-label reserveert en het bundelt met een globale NULL HV. Dit elimineert de noodzaak van voorkennis over welke klassen aanwezig zijn in een object, een vereiste voor eerdere modellen.
Efficiënt Factorisatie-algoritme:
- Het algoritme vermijdt exhaustieve zoekopdrachten door selectief redundante klassen te elimineren. Het unbind de niet-geselecteerde klasse-labels en berekent de gelijkenis tussen de resulterende vector en de subclass-items van de doelklasse.
- Enkel Object: Het item met de hoogste gelijkenis wordt geselecteerd, en het proces herhaalt zich voor opeenvolgende subclass-niveaus.
- Meerdere Objecten: Het algoritme identificeert alle subclass-items op een specifiek niveau die een vooraf gedefinieerde drempelwaarde gelijkenis (TH) overschrijden. Vervolgens bindt het deze kandidaten selectief om combinaties te vormen. Als de gelijkenis van een combinatie met de doel-HV de TH overschrijdt, wordt het object bevestigd.
- Drempelwaarde Selectie: De optimale TH-waarde ( $TH^*$ ) wordt bepaald op basis van de HV-dimensie ( $D$ ), het aantal objecten ( $N$ ) en het aantal factoren ( $F$ ). Het artikel biedt een passende formule: $TH^* = 0.001(10^4 + 2N - 15F - 0.001D - \log(M))$ .

Belangrijkste Bijdragen

Nieuwe Representatie: FactorHD ondersteunt de representatie van meerdere objecten met multi-level subclass hiërarchieën zonder te lijden onder superpositie-catastrofe of het probleem van 2, door gebruik te maken van een redundant klasse-label om informatie te behouden.
Efficiënt Algoritme: Het voorgestelde factorisatie-algoritme vermindert de computationele complexiteit aanzienlijk tot ongeveer $O(NM)$ (waarbij $N$ het aantal objecten is en $M$ het aantal subclass-items per klasse), vergeleken met de exponentiële of kwadratische complexiteit van eerdere methoden. Het maakt partiële factorisatie mogelijk, waardoor het systeem specifieke subklassen van belang kan extraheren zonder de gehele hiërarchie te verwerken.
Schaalbaarheid en Nauwkeurigheid: Het model behoudt een hoge factorisatie-nauwkeurigheid, zelfs wanneer de probleemomvang schaalt, waarmee het de beperkingen van bestaande C-C (Class-Class) en C-I (Class-Instance) modellen overwint.

Experimentele Resultaten
Evaluaties werden uitgevoerd op synthetische representaties (Rep 1, 2 en 3) en praktische datasets (RAVEN, Cifar-10, Cifar-100) geïntegreerd met een ResNet-18 neuraal netwerk voor feature extractie.

Versnelling: FactorHD bereikt een 5667 $\times$ versnelling bij een representatiegrootte van $10^9$ vergeleken met bestaande HDC-modellen (zoals het resonator netwerk en de IMC factorizer). Bij een grootte van $10^6$ is de versnelling ongeveer 18,5 $\times$ .
Nauwkeurigheid op Synthetische Data: FactorHD behoudt een factorisatie-nauwkeurigheid boven de 99%, zelfs bij lagere HV-dimensies, terwijl baseline modellen (zoals het resonator netwerk) falen naarmate de probleemomvang toeneemt.
Real-World Datasets:
- Op de Cifar-10 dataset bereikte FactorHD, geïntegreerd met ResNet-18, een factorisatie-nauwkeurigheid van 92,48%.
- Op Cifar-100 demonstreerde het model een hoge nauwkeurigheid met minimaal verlies vergeleken met standaard neurale classificatietaken (nauwkeurigheidsverlies < 3% voor Cifar-10).
- Op de RAVEN dataset behaalde het model meer dan 90% nauwkeurigheid voor de meeste patronen met $D=1000$ .

Betekenis
Het artikel beweert dat FactorHD de fundamentele beperkingen van "superpositie-catastrofe" en "het probleem van 2" in neuro-symbolische AI overwint. Door efficiënte partiële factorisatie mogelijk te maken en complexe hiërarchische structuren te verwerken, breidt FactorHD de toepasbaarheid van HDC uit naar bredere scenario's die betrekking hebben op multi-object redeneren. Het model laat zien dat neuro-symbolische systemen een hoge computationele efficiëntie en nauwkeurigheid kunnen bereiken zonder te vertrouwen op de uitputtende, iteratieve processen die eerdere HDC-ontwerpen hinderen.

Technische Samenvatting: FactorHD

Meer zoals dit