Black-Box Optimization of Mixed Binary-Continuous Variables: Challenges and Opportunities in Evolutionary Model Merging

Technische Samenvatting: Black-Box Optimalisatie van Gemengde Binaire-Continue Variabelen in Evolutionaire Modelsamenvoeging

Probleemdefinitie
Het artikel behandelt de optimalisatie-uitdagingen die inherent zijn aan Evolutionaire Modelsamenvoeging, specifiek binnen de Data Flow Space (DFS). Hoewel modelsamenvoeging een kosteneffectief alternatief biedt voor het trainen van Large Language Models (LLMs) vanaf nul, blijft de geautomatiseerde zoektocht naar optimale samenvoegconfiguraties met behulp van evolutionaire algoritmen slecht begrepen. De auteurs identificeren dat DFS-samenvoeging een complexe zoekruimte omvat die bestaat uit:

1. Gemengde Binaire-Continue Variabelen: Het probleem vereist gelijktijdige optimalisatie van discrete beslissingen (welke lagen op te nemen, weergegeven door een binaire vector $z$) en continue parameters (schaalweegs voor geselecteerde lagen, weergegeven door een vector $x$).
2. Hoge Dimensionaliteit: Moderne LLM's omvatten honderden lagen over meerdere modellen, wat zoekruimtes met duizenden dimensies creëert.
3. Conditionele Afhankelijkheden (Type-I Interactie): Een kritieke structurele uitdaging waarbij de effectieve dimensionaliteit van de continue variabelen volledig afhankelijk is van de binaire configuratie. Als een laag niet is geselecteerd ($z_{i,j}=0$), wordt de bijbehorende schaalweeg ($x_{i,j}$) irrelevant voor de doelfunctie.

Het artikel betoogt dat standaard black-box optimalisatiemethoden, zoals CMA-ES, ongeschikt zijn voor dit probleem omdat ze primair zijn ontworpen voor continue variabelen en geen rekening houden met deze gemengde variabele-interacties en conditionele afhankelijkheden.

Methodologie en Formulering
De auteurs karakteriseren het DFS-samenvoegingsprobleem formeel als een black-box optimalisatieprobleem met gemengde binaire-continue variabelen. Het doel is het minimaliseren van een functie $f(x, z)$ die de prestaties van het samengevoegde model op een doeltaak weergeeft, onderworpen aan:

• $z \in \{0, 1\}^m$ (Binaire laagselectie)
• $x \in \mathbb{R}^n$ (Continue schaalweegs)

De formulering benadrukt expliciet de Type-I interactie (zoals gedefinieerd door Akimoto et al. [11]), waarbij de actieve continue dimensies conditioneel zijn op de binaire vector. Het artikel contrasteert twee benaderingen:

• Gestructureerde DFS: Behandelt het probleem als een generieke black-box zoektocht, waarbij alle parametergroepen worden geoptimaliseerd ongeacht de selectiestatus, waardoor evaluaties worden verspild aan irrelevante dimensies.
• Gestructureerde DFS: Respecteert de conditionele afhankelijkheid door eerst actieve lagen te selecteren (optimalisatie van $z$) en vervolgens alleen schaalweegs te optimaliseren voor die geselecteerde lagen (optimalisatie van $x|z$).

Belangrijkste Bijdragen

1. Gestructureerd Overzicht: Het artikel categoriseert bestaande technieken voor evolutionaire modelsamenvoeging in drie distincte groepen: Parameter-Space (PS) samenvoeging, Data Flow Space (DFS) samenvoeging, en Hybride benaderingen.
2. Formele Karakterisering: Het biedt de eerste formele definitie van het DFS-samenvoegingsprobleem als een gemengd binaire-continue black-box optimalisatieprobleem, waarbij expliciet de conditionele afhankelijkheden worden geïdentificeerd die standaard oplosmiddelen belemmeren.
3. Brug tussen Gemeenschappen: Het werk verbindt de gemeenschap voor modelsamenvoeging met de bredere literatuur over evolutionaire berekening en black-box optimalisatie, met name door de relevantie van algoritmen zoals CatCMA en ICatCMA (die vergelijkbare interactie-uitdagingen aanpakken) voor de context van modelsamenvoeging te benadrukken.

Experimentele Resultaten
De auteurs voerden een voorlopige empirische validatie uit met twee vooringestelde modellen (google/flan-t5-small en declare-lab/flan-alpaca-large) op een benchmark van 15 vragen. Ze vergeleken een ongestructureerde DFS-benadering met een gestructureerde DFS-benadering over 10 iteraties:

• Nauwkeurigheid: De Gestructureerde DFS-benadering behaalde 26,7% nauwkeurigheid, wat overeenkwam met de baseline (alleen Model A), terwijl de Ongestructureerde DFS-benadering degradeerde naar 20,0%. Dit vertegenwoordigt een verbetering van 6,7% ten opzichte van de ongestructureerde methode.
• Zoekefficiëntie: De gestructureerde benadering verkleinde de effectieve zoekruimte met 51,4%. Waar de ongestructureerde methode elke iteratie alle 192 parametergroepen aanpaste, richtte de gestructureerde methode zich dynamisch op gemiddeld 93,3 lagen per iteratie.
• Dynamische Dimensionaliteit: De experimenten bevestigden dat het aantal actieve lagen dynamisch varieerde (van 53 tot 125) over de iteraties, wat de hypothese valideert dat de effectieve continue dimensionaliteit verandert op basis van de binaire configuratie.

Betekenis en Beweringen
Het artikel beweert dat de geïdentificeerde optimalisatie-uitdagingen – specifiek de gemengde binaire-continue structuur met conditionele afhankelijkheden – niet uniek zijn voor modelsamenvoeging, maar zich voordoen in elk domein dat gelijktijdige optimalisatie vereist van combinatorische en continue variabelen in een black-box setting (bijvoorbeeld Neural Architecture Search, geneesmiddelenontdekking).

De auteurs positioneren hun werk als een fundamentele stap om:

• Te verklaren waarom huidige evolutionaire modelsamenvoegingsbenaderingen (die vaak deze structurele eigenschappen negeren) inefficiënt of suboptimaal kunnen zijn.
• De toepassing van geavanceerde gemengde-variabele optimalisatoren (zoals ICatCMA met warm-starting en hyper-representatietechnieken) op modelsamenvoeging te motiveren.
• Toekomstige onderzoeksrichtingen voor te stellen, waaronder het aanpassen van CatCMA voor laagselectie, het ontwikkelen van theoretische convergentiegaranties voor gemengde-variabele DFS-zoektochten, en het schalen van deze methoden naar grotere modellen (bijvoorbeeld 7B parameters) met behulp van surrogate-ondersteunde zoektochten.

De auteurs blijven bescheiden over hun huidige bevindingen, erkennend dat de studie voorlopig is, kleine modellen gebruikt (76M–247M parameters), en vertrouwt op willekeurige steekproeven in plaats van volledige evolutionaire algoritmen. Ze presenteren de resultaten als empirische validatie van de theoretische formulering, wat grootschaliger toekomstig werk motiveert.