Technische Samenvatting: Het corrigeren van de variabele belangrijkheid gescoord door Random Forests

Probleemstelling

Random Forests (RF) worden algemeen erkend als krachtige instrumenten voor statistische data-analyse en machine learning, waarbij ze robuuste prestaties leveren bij classificatie- en regressietaken. Een kernkenmerk van RF is het vermogen om variabelen belangrijkheidsscores te leveren, die essentieel zijn voor modelinterpretatie, selectie en diagnose. Echter, de standaardberekening van variabele belangrijkheid in RF—specifiek de permutatie-nauwkeurigheidsmethode—lijdt aan een kritieke beperking: het houdt geen rekening met correlaties tussen variabelen.

Wanneer een variabele $U$ sterk gecorreleerd is met andere variabelen ($V_1, V_2, \dots$) conditioneel op de responsvariabele $Y$, wordt de belangrijkheid van $U$ vaak onderschat of volledig gemaskeerd. In de standaard permutatiebenadering verbreekt het husselen van de waarden van $U$ de associatie met $Y$. Echter, als $V_1, V_2, \dots$ nog steeds in het model aanwezig zijn en sterk gecorreleerd zijn met $U$, kunnen zij de ontbrekende informatie effectief "invullen", wat resulteert in een verwaarloosbare daling in voorspellende nauwkeurigheid. Bijgevolg blijft de berekende belangrijkheid voor $U$ kunstmatig laag, ondanks dat $U$ een ware voorspeller is. Dit fenomeen leidt tot significante discrepanties tussen de berekende belangrijkheid en de werkelijke voorspellende bruikbaarheid van variabelen.

Methodologie

Om het maskeringseffect veroorzaakt door gecorreleerde variabelen aan te pakken, stellen de auteurs een raamwerk voor dat variabelen groepeert op basis van hun conditionele correlaties (correlatie gegeven de responsvariabele $Y$) voordat de belangrijkheid wordt berekend. De kern van het idee is het verwijderen van de invloed van gecorreleerde variabelen tijdens de beoordeling van de belangrijkheid van een specifieke variabele van belang.

Het artikel definieert de conditionele correlatiecoëfficiënt $\rho(U, V | Y)$ als de ratio van de conditionele covariantie tot het product van de conditionele standaarddeviaties. Met behulp van deze metriek verkennen de auteurs twee verschillende algoritmische benaderingen:

Methode 1: Individuele Variabele Correctie (corrVI-Individual)

Deze benadering werkt op basis van een individuele variabele:

1. Voor een doelvariabele $V_i$ identificeert het algoritme de set variabelen $V_{cor}$ die conditioneel gecorreleerd zijn met $V_i$.
2. Het construeert een gereduceerde dataset die alle variabelen bevat behalve die in $V_{cor}$ (aangeduid als $V_{nc}$).
3. De voorspellende nauwkeurigheid van de Random Forest wordt berekend op de set $V_{nc}$ en vervolgens op de set $V_{nc} \cup \{V_i\}$.
4. De belangrijkheid van $V_i$ wordt gedefinieerd als de toename in voorspellende nauwkeurigheid wanneer $V_i$ wordt toegevoegd aan de set van niet-gecorreleerde variabelen.
5. Door alle gecorreleerde variabelen te verwijderen, zorgt de methode ervoor dat de winst in nauwkeurigheid uitsluitend aan $V_i$ wordt toegeschreven, waardoor maskering wordt voorkomen.

Noot: De auteurs erkennen dat deze methode "meer" informatie verwijdert dan strikt noodzakelijk is (aangezien $V_{cor}$ informatie kan bevatten die verder gaat dan $V_i$), wat potentieel kan leiden tot een lichte overschatting van de belangrijkheid. Ze beargumenteren echter dat deze overschatting verwaarloosbaar is als de resterende variabelen voldoende voorspellende scheiding bieden.

Methode 2: Spectral Clustering Correctie (corrVI-Spectral)

Deze benadering groepeert de volledige set variabelen in disjuncte subgroepen op basis van paarwise conditionele correlaties:

1. Een matrix van pairwise conditionele correlaties wordt berekend voor alle variabelen.
2. Deze matrix wordt behandeld als een gelijkenismatrix, en spectral clustering wordt toegepast om de variabelen te partitioneren in disjuncte groepen ($G_1, \dots, G_K$) waar variabelen binnen een groep sterk gecorreleerd zijn, en variabelen tussen groepen zwak gecorreleerd zijn.
3. Voor een variabele $V$ die deel uitmaakt van groep $G_i$, verwijdert het algoritme de gehele groep $G_i$ uit de dataset.
4. De belangrijkheid van $V$ wordt berekend als de toename in voorspellende nauwkeurigheid wanneer $V$ wordt toegevoegd aan de set variabelen $V_{nc} = \text{Alle Variabelen} \setminus G_i$.
5. Omdat geen enkele variabele in $V_{nc}$ conditioneel gecorreleerd is met $V$, wordt de belangrijkheidsscore niet gemaskeerd.

Verwijdering vs. Permutatie:
De auteurs kiezen er expliciet voor om gecorreleerde variabelen te verwijderen in plaats van ze te permuteren tijdens de berekening van de belangrijkheid. Ze demonstreren dat hoewel het verwijderen of permuteren van een enkele variabele vergelijkbare resultaten oplevert vanwege de ingebouwde variabeleselectie van RF, het gelijktijdig permuteren van meerdere variabelen de voorspellende nauwkeurigheid sterker kan doen afnemen dan eenvoudige verwijdering. Dit komt omdat het permuteren van meerdere ruisvariabelen de kans vergroot dat een ruisvariabele wordt geselecteerd als splitsingspunt, wat de daling in nauwkeurigheid kunstmatig verhoogt. Daarom wordt verwijdering als de stabielere benadering beschouwd voor het corrigeren van multi-variabele correlaties.

Belangrijkste Bijdragen

1. Identificatie van het Maskeringsprobleem: Het artikel belicht formeel hoe conditionele correlaties in RF leiden tot de onderschatting van de variabele belangrijkheid, een probleem dat in standaardimplementaties vaak over het hoofd wordt gezien.
2. Conditioneel Correlatiekader: De auteurs introduceren het gebruik van conditionele correlatie (gegeven $Y$) als de metriek voor het groeperen van variabelen, in plaats van onconditionele correlatie.
3. Twee Correctie-algoritmen: De voorstel van twee computationeel efficiënte methoden:
   • Methode 1: Een flexibele, op individuele variabelen gebaseerde benadering die specifieke gecorreleerde variabelen verwijdert voor elk doel.
   • Methode 2: Een op clustering gebaseerde benadering met behulp van spectral clustering om variabelengroepen globaal te behandelen.
4. Empirische Validatie: De methoden worden getest op acht real-world datasets van de UC Irvine Machine Learning Repository, waarbij wordt aangetoond dat de correcties beter aansluiten bij domeinkennis dan de standaard RF-belangrijkheidsscores.

Experimentele Resultaten

De auteurs evalueerden beide methoden op datasets inclusief Seeds, Indian Liver Patient, Heart Disease, Wine, Maternal Health, Obesity en Bank Marketing.

• Seeds Dataset: De originele RF gaf een bijna nul-belangheid toe aan "Compactness" ($V_3$) en een lage belangrijkheid aan "Area" ($V_1$) en "Perimeter" ($V_2$). Beide correctiemethoden verhoogden de belangrijkheid van $V_1$ en $V_2$ aanzienlijk. Methode 1 identificeerde $V_3$ correct als zijnde van niet-nul belang (omdat het unieke informatie bevat), terwijl Methode 2 (door clusteringbeperkingen) dit licht onderschatte.
• Indian Liver Patient Dataset: Variabelen zoals Alkaline Phosphatase ($V_5$) en Total Protein ($V_8$) kregen door standaard RF een bijna nul-belangheid toegewezen. Methode 1 corrigeerde deze naar boven toe, wat hun medische significantie weerspiegelt. Methode 2 slaagde er niet in om $V_5$ aan te passen omdat het clusteringalgoritme de correlatie met andere variabelen niet volledig vastlegde, waardoor de belangrijkheid gemaskeerd bleef.
• Heart Disease Dataset: Kritieke variabelen zoals Age ($V_1$), Gender ($V_2$) en Resting Blood Pressure ($V_4$) werden door standaard RF aanzienlijk lager gerankt. Beide methoden corrigeerden deze scores. Echter, Methode 2 slaagde er niet in om $V_4$ en $V_{11}$ (Slope of ST segment) even effectief aan te passen als Methode 1 vanwege de clusteringgrenzen.
• Obesity en Bank Marketing Datasets: Vergelijkbare trends werden waargenomen waarbij domeincritische variabelen (bijv. Family History of Overweight, Previous Contact History) ondergerankt werden door RF, maar gecorrigeerd werden door de voorgestelde methoden. Methode 1 bleek over het algemeen robuuster in gevallen waar de correlatiestructuur geen perfecte disjuncte clusters vormde.

In het algemeen demonstreerde Methode 1 een grotere flexibiliteit en nauwkeurigheid in het corrigeren van belangrijkheidsscores, met name wanneer variabelen complexe correlatiestructuren vormden die spectral clustering niet perfect kon partitioneren.

Betekenis en Claims

Het artikel beweert dat zijn benadering "redelijke correcties" biedt aan de door Random Forests geproduceerde variabele belangrijkheidsscores. De betekenis ligt in:

• Verbeterde Interpreteerbaarheid: Door het maskeringseffect te verzachten, reflecteren de gecorrigeerde scores beter de werkelijke voorspellende bijdrage van variabelen, wat helpt bij modelinterpretatie en feature selectie.
• Domeinovereenstemming: De gecorrigeerde belangrijkheidsscores sluiten beter aan bij gevestigde domeinkennis (bijv. medische markers in lever- en hartdatasets) vergeleken met standaard RF-scores.
• Algemene Toepasbaarheid: Hoewel gemotiveerd door RF, merken de auteurs op dat de benadering van het verwijderen van gecorreleerde variabelen om belangrijkheid te beoordelen toepasbaar is op algemene voorspellende methoden.

De auteurs hanteren een bescheiden toon en erkennen dat Methode 1 de belangrijkheid licht kan overschatten door meer informatie te verwijderen dan nodig is, en dat de prestaties van Methode 2 afhangen van de kwaliteit van de spectral clustering. Ze beweren niet alle problemen op te lossen, maar bieden een praktisch, computationeel efficiënt mechanisme om het specifieke probleem van correlatie-geïnduceerde maskering aan te pakken.