Tree-Structured Synergy of Large Language Models and Bayesian Optimization for Efficient CASH

Technische Samenvatting: Boomgestructureerde Synergie van Groot Taalmodellen en Bayesiaanse Optimalisatie voor Efficiënte CASH

Probleemstelling
Het artikel behandelt het Combined Algorithm Selection and Hyperparameter Optimization (CASH)-probleem, dat erop gericht is gezamenlijk het optimale machine learning-algoritme en diens hyperparameters te identificeren om de validatieprestaties te maximaliseren. Hoewel Bayesiaanse Optimalisatie (BO) de dominante aanpak voor CASH is, kampt het met koude-startproblemen en hoge-dimensionale, gestructureerde zoekruimtes omdat het configuraties behandelt als abstracte numerieke vectoren, waardoor het geen gebruik maakt van vooraf bestaande kennis. Daarentegen bieden Groot Taalmodellen (LLM's) semantische priors en redeneervermogen, maar lijden ze onder slechte generalisatie in hoge-dimensionale, gestructureerde ruimtes, gebrek aan kwantificering van onzekerheid, en vertrouwen ze vaak op ongestructureerde, ruisachtige optimalisatiegeschiedenissen die leiden tot inefficiënt contextgebruik en voortijdige convergentie. Bestaande hybride methoden falen vaak om LLM's en BO in de CASH-context effectief te laten samenwerken vanwege het ontbreken van een gestructureerde staat die hiërarchische optimalisatietrajecten modelleert.

Methodologie: LB-MCTS
De auteurs stellen LB-MCTS voor, een trajectgestructureerd optimalisatiekader dat LLM's en BO integreert met behulp van een Monte Carlo Tree Search (MCTS)-boom als gedeelde staat. De methode herformuleert CASH als een sequentieel besluitvormingsproces over een boomstructuur met drie knooppunttypen: een wortel-CASH-knooppunt, algoritme (Algo)-knooppunten en hyperparameter (HP)-knooppunten.

Belangrijke componenten zijn:

1. Boomgestructureerd zoeken: De MCTS-boom organiseert de zoekruimte hiërarchisch. Acties omvatten algoritmeselectie, initialisatie (het genereren van een startconfiguratie) en optimalisatie (het verfijnen van een configuratie). De boom vangt het volledige optimalisatietraject op, wat selectie van algoritmen op wortelniveau en exploratie-exploitatie op subboomniveau binnen specifieke algoritmesubruimtes mogelijk maakt.
2. Synergie tussen BO- en LLM-propositors: Het kader maakt gebruik van twee complementaire proposers:
   • BO Proposer: Gebruikt een per-algoritme Gaussian Process (GP) surrogate-model voor kwantitatief zoeken. Het genereert kandidaten via random of lokale steekproeven en selecteert de beste kandidaat met behulp van Expected Improvement (EI).
   • LLM Proposer: Gebruikt In-Context Learning (ICL) om semantische voorstellen te genereren. Het breidt het PUCT-selectieproces uit om een basisnode te kiezen en vraagt vervolgens de LLM om een nieuwe configuratie voor te stellen op basis van een gestructureerde prompt.
3. Selectieve Tuning Memory (STM): Om de uitdaging van efficiënt contextgebruik aan te pakken, haalt STM algoritmespecifieke en trajectrelevante proeven op uit de gedeelde boomstaat. Het combineert Global Memory (Pareto-optimale historische pogingen op basis van gelijkenis en prestaties) en Local Memory (het voorouderlijke pad van de algoritme-wortel tot de huidige knoop). Dit isoleert geschiedenissen van verschillende algoritmen om cross-algoritme ruis te voorkomen en voorziet de LLM van gefocuste, laag-ruisende context.
4. Dynamische Proposer-selectie: Een betrouwbaarheidsbewust beleid schuift adaptief tussen LLM- en BO-propositors. Aanvankelijk wordt de LLM geprefereerd voor warm-starting met semantische priors. Naarmate het BO surrogate-model rijpt (gekwantificeerd via rangcorrelatie van kruisvalidatie), neemt de waarschijnlijkheid van het selecteren van de BO-proposer toe, waardoor een soepele overgang van semantische exploratie naar kwantitatieve exploitatie wordt gewaarborgd.
5. Reflectiemechanisme: Na de evaluatie van een voorgestelde configuratie genereert de LLM (of een heuristische regel voor BO) een reflectie die samenvat wat wel of niet werkte. Deze verbale feedback wordt opgeslagen in de boomknoop, waardoor de kloof tussen numerieke beloningen en semantisch redeneren voor toekomstige iteraties wordt overbrugd.

Belangrijkste Bijdragen

• Boomgestructureerde Formulering: Het artikel formuleert CASH als een boomgestructureerd zoeken over optimalisatietrajecten, wat een principiële algoritmeselectie en een hiërarchische balans tussen exploratie en exploitatie mogelijk maakt.
• Gefuseerde Synergie: Het verenigt BO- en LLM-optimalisatietrajecten in een gedeelde boomstaat, waardoor dynamische proposer-selectie mogelijk is die beter presteert dan elk component op zich.
• Selectieve Tuning Memory: De introductie van STM stelt de LLM in staat te redeneren vanuit gefocuste, algoritmespecifieke en trajectrelevante contexten, waardoor de ruis die gepaard gaat met het mengen van geschiedenissen over verschillende algoritmen heen, wordt verminderd.
• Empirische Validatie: Uitgebreide experimenten op 104 datasets van de AutoML Benchmark (AMLB) tonen de effectiviteit van de methode aan.

Resultaten
Experimenten op 104 AMLB-datasets (die classificatie- en regressietaken omvatten) tonen aan dat LB-MCTS consequent state-of-the-art baselines overtreft, waaronder pure BO-methoden (SMAC, OptDivBO, Rising Bandit, MOSAIC), pure LLM-optimizers (OPRO, LLAMBO) en bestaande hybride benaderingen (BOPRO, BORA).

• Prestaties: LB-MCTS bereikt de beste gemiddelde validatierang van 2,16, wat significant beter is dan de op één na beste baseline, Rising Bandit (RB), met een rang van 3,49.
• Testset-prestaties: Op de testset behoudt LB-MCTS een leidende gemiddelde rang van 3,05, statistisch significant superieur aan alle baselines.
• Efficiëntie: De methode bereikt deze winsten met een economische API-kost van ongeveer $0,127 per taak en toont robuuste prestaties over diverse taaktypen, steekproefgroottes en feature-dimensies.
• Ablatiestudies: Analyses bevestigen dat de boomgestructureerde zoekopdracht, de dubbele directive strategie (Exploratie/Exploitatie), het STM-mechanisme en de dynamische proposer-selectie allemaal cruciaal zijn voor het succes van de methode.

Betekenis en Beweringen
Het artikel beweert dat LB-MCTS effectief de drempel van expertise in AutoML verlaagt door de specifieke uitdagingen van het CASH-probleem aan te pakken: efficiënt contextgebruik, de afweging tussen exploratie en exploitatie in gestructureerde ruimtes, en de effectieve synergie tussen LLM's en BO. Door de MCTS-boom als gedeelde staat te gebruiken, overwint de methode de beperkingen van bestaande hybriden die vertrouwen op vlakke, ongestructureerde geschiedenisuitwisselingen. De auteurs stellen dat LB-MCTS een robuuste, steekproef-efficiënte oplossing biedt voor hoge-dimensionale, gestructureerde optimalisatieproblemen, waarbij superieure prestaties worden bereikt zonder prohibitieve computerkosten. Het werk omvat ook een theoretische analyse die globale convergentie bijna zeker bewijst naarmate het aantal iteraties naar oneindig gaat, mits de BO-selectiewaarschijnlijkheid een ondergrens heeft.