LLT: An R package for Linear Law-based Feature Space Transformation

Technisch overzicht: LLT R-pakket voor Lineaire Wet-gebaseerde Feature Ruimte Transformatie

Probleemstelling
Tijdreeksclassificatie (TSC) blijft een uitdagende taak binnen machine learning en data mining vanwege de grote datavolumes, hoge dimensionaliteit en de continue aard van temporele data verzameld door sensoren. Hoewel bestaande benaderingen over het algemeen worden gecategoriseerd in feature-gebaseerde methoden (bijv. Discrete Wavelet Transform, Discrete Fourier Transform) en afstand-gebaseerde methoden (bijv. Dynamic Time Warping met 1-Nearest Neighbor), is er behoefte aan algoritmen die effectief feature ruimtes kunnen transformeren om de classificatie van zowel univariate als multivariate tijdreeksen te vergemakkelijken.

Methodologie
Het artikel introduceert het Linear Law-based Feature Space Transformation (LLT) algoritme en de implementatie ervan als een R-pakket. De kernmethodologie berust op het identificeren van "lineaire wetten"—regelgevende patronen binnen tijdreeksen—met behulp van time-delay embedding en spectrale decompositie.

1. Definitie van de Lineaire Wet: Voor een tijdreeks $z_t$ creëert een $l$-orde time-delay embedding een matrix $A$. Een symmetrische matrix $S = A^\top A$ wordt vervolgens gegenereerd. De "lineaire wet" wordt gedefinieerd als de eigenvector $v$ die hoort bij de kleinste eigenwaarde van $S$, waarbij geldt dat $Sv \approx 0$. In tegen tegenstelling tot Principal Component Analysis (PCA), die de variantie maximaliseert, streeft deze benadering naar componenten die de variantie van de geprojecteerde data minimaliseren.
2. Transformatieproces:
   • Training: De dataset wordt gesplitst in trainings- en testsets. Voor elke invoerreeks (initiële feature) in de trainingsset berekent het algoritme de lineaire wetten (eigenvectoren) gegroepeerd per klasse.
   • Testen: Voor testinstanties construeert het algoritme $S$-matrices van de invoerreeks. Deze worden links vermenigvuldigd met de uit de training afgeleide wet-matrices ($V^j$) die overeenkomen met de initiële feature.
   • Feature Selectie: De resulterende matrices ($S^{te,j}V^j$) worden geanalyseerd. Kolommen met een kleine variantie of een absolute gemiddelde duiden erop dat de testdata tot dezelfde klasse behoort als de trainingsdata die gebruikt is om de wet af te leiden. De dimensie wordt gereduceerd door kolomvectoren te selecteren met de kleinste variantie en/of het kleinste absolute gemiddelde (of een gerangschikte combinatie van beide) voor elke klasse en invoerreeks.

Belangrijkste Bijdragen
De primaire bijdrage van dit werk is het LLT R-pakket, de eerste softwarematige implementatie van het LLT-algoritme. Belangrijke kenmerken van het pakket zijn onder meer:

• Modulaire Architectuur: Het algoritme is gedecomposeerd in drie hoofdfuncties (trainTest, trainLaw, testTrans) en twee hulpfuncties (embed, linlaw). Deze modulariteit vergemakkelijkt verdere algoritmische ontwikkeling.
• Efficiëntie: Om een lage computationele vraag te garanderen, vertrouwt het pakket uitsluitend op ingebouwde R-functies in plaats van externe community-bibliotheken.
• Flexibiliteit en Bruikbaarheid: Het pakket is ontworpen om gebruiksvriendelijk te zijn en vereist slechts essentiële parameters (bijv. pad, testratio, dimensie, lag, selectiecriterium), terwijl het zowel univariate als multivariate data ondersteunt.
• Open Beschikbaarheid: Het pakket (v0.1.0) en een voorbeelddataset met de vereiste mappenstructuur zijn publiekelijk beschikbaar op GitHub onder de GNU General Public License v3.0.

Resultaten
Het artikel valideert het pakket met behulp van de PowerCons dataset (huishoudelijk elektriciteitsverbruik van EDF), gecategoriseerd in "Warme" en "Koude" seizoensgebonden klassen.

• Experimentele Opstelling: De auteurs voerden 300 transformaties uit met een testratio van 0,1 en een dimensie ($dim$) van 5.
• Prestaties: Door gebruik te maken van een eenvoudige classificatieregel (het selecteren van de klasse met het kleinere absolute gemiddelde van de getransformeerde features), bereikte de methode een gemiddelde nauwkeurigheid van 87,204% met een standaarddeviatie van 5,536%.
• Vergelijkende Context: De auteurs merken op dat het combineren van LLT met het k-Nearest Neighbor (KNN) algoritme eerder nauwkeurige resultaten met een lage computationele vraag heeft opgeleverd in andere studies (Kurbucz et al., 2022a). Daarnaast toonde eerder werk aan het Activity Recognition system gebaseerd op de Multisensor data fusion (AReM) dataset aan dat LLT de nauwkeurigheid van traditionele classifiers aanzienlijk verhoogde, waarbij het superieur was aan state-of-the-art methoden na feature-ruimte transformatie.

Betekenis en Claims
Het artikel positioneert het LLT-pakket als een praktisch hulpmiddel dat de structuur van feature-sets transformeert om tijdreeksdata gemakkelijker classificeerbaar te maken. De auteurs benadrukken dat het algoritme een alternatief biedt met een lage computationele complexiteit ten opzichte van bestaande methoden. De betekenis van het werk ligt in het bieden van een flexibele, gebruiksvriendelijke en efficiënte implementatie die de computationele stappen scheidt, waardoor onderzoekers in staat zijn om verdere leeralgoritmen te ontwikkelen op basis van lineaire wetten. De auteurs hanteren een bescheiden toon en presenteren het pakket als een fundamentele implementatie die de toepassing van het LLT-algoritme faciliteert, in plaats van te claimen dat het een universele oplossing is voor alle TSC-problemen.