Technische Samenvatting: Wanneer te herplannen: Subdoel-persistentie in Hiërarchische Latente Redenering

Probleemstelling

Langdurige redenering vereist dat een systeem een balans vindt tussen stabiliteit (vasthouden aan een intentie op middellange termijn) en adaptiviteit (het herzien van die intentie wanneer dat nodig is). In geëxternaliseerde redenering (bijv. Chain-of-Thought) legt elke token de impliciete verplichting op aan het systeem om een specifiek pad te volgen. Echter, in latente redeneerarchitecturen (waar berekeningen plaatsvinden binnen verborgen toestanden in plaats van token-traces), wordt geen dergelijke expliciete verplichting afgedwongen. Een latente redeneerder kan theoretisch zijn intentie op de middellange termijn bij elke microstap herzien, of dit nooit doen.

Het kernprobleem dat wordt aangepakt, is het bepalen van de optimale temporele schaal voor planning in latente ruimtes: Hoe lang moet een latente redeneerder zich committeren aan een intentie voordat deze wordt herzien? Bestaande Hierarchical Reasoning Models (HRM) koppelen trage en snelle lussen, maar missen een expliciet signaal voor intenties op de middellange termijn, en vertrouwen uitsluitend op emergente recurrente dynamiek. Dit onderzoek onderzoekt of het introduceren van een "feudaal-stijl" manager-worker interface met een controleerbare subdoel-persistentieperiode ($P$) dit trade-off tussen stabiliteit en adaptiviteit kan oplossen.

Methodologie

De auteurs stellen de Subgoal-Augmented HRM voor, een uitbreiding van het Hierarchical Reasoning Model (HRM) die persistente latente intentie operationaliseert via een manager-worker architectuur.

Architectuur en Mechanisme

1. Manager-Worker Interface:

   • Manager (Hoog niveau): Een trage module die elke $T$ lage-niveau stappen wordt bijgewerkt. Het geeft elke $P$ lage-niveau stappen een genormaliseerde directionele subdoelvector $g_k$ af.
   • Worker (Laag niveau): Een snelle module die microstappen uitvoert. De updates van de verborgen toestand worden gestuurd door de actieve subdoel $g(t)$ via een geleerde projectie $V_L$.
   • Persistentieperiode ($P$): De centrale hyperparameter. Het definieert het aantal lage-niveau stappen dat een subdoel actief blijft voordat het wordt herzien.
     • $P=1$: Het subdoel wordt elke stap overschreven (geen temporele coherentie).
     • $P>1$: Het subdoel persisteert, waardoor de worker meerdere updates rond een enkel intentie kan samenstellen.

2. Subdoel Emissie:

   • De manager projecteert zijn toestand $z^H$ naar een directionele vector $\tilde{g}_k$, die wordt genormaliseerd tot een eenheidslengte om te coderen "waarheen te bewegen" in de latente ruimte zonder een specifiek absoluut doel af te dwingen (wat broos zou zijn in niet-stationaire dynamiek).
   • Een scalaire commitment-gate $\alpha_k$ moduleert optioneel de invloedsterkte op basis van de onzekerheid van de manager.

3. Trainingsdoelstelling:

   • De totale loss combineert de baseline HRM-doelstelling ($L_{HRM}$) met een intrinsieke alignment loss ($L_{align}$):
     $$L = L_{HRM} + \lambda \sum L^{(k)}_{align}$$
   • Alignment Loss: Een op cosinus gebaseerde loss die de netto verplaatsing van de verborgen toestand van de worker ($\Delta z^L_k$) over het commitmentvenster $P$ beloont voor het uitlijnen met het uitgegeven subdoel $g_k$.
   • Hyperparameter $\lambda$: Het gewicht van de alignment loss, dat de afweging tussen de alignment prior en de taakgradiënt controleert.

Experimentele Opstelling

• Datasets: ARC-AGI en ConceptARC (specifiek arc-aug-1000 en ConceptARC-mini).
• Metrieken: Primaire metriek is Token-level LM Loss (cross-entropy); secundaire metrieken zijn nauwkeurigheid en alignment loss.
• Sweeps:
  • Persistence Sweep: Variëren van $P$ (van 1 tot 8) met een vaste $\lambda=0.05$.
  • Alignment Weight Sweep: Variëren van $\lambda$ (van 0.01 tot 1.0) met een vaste $P=4$.
  • Ablatieonderzoek: Een gecontroleerd drie-cel experiment bij $\lambda=0.10$ (voorbij het optimum) om de bron van interferentie te isoleren.

Belangrijkste Resultaten

1. Subdoel-persistentie is de Centrale Knop

De studie stelt vast dat persistentie noodzakelijk is, niet optioneel.

• Onder-commitment ($P=1$): Wanneer subdoelen elke stap worden herzien, daalt de prestatie aanzienlijk (LM Loss 1.674) vergeleken met de no-subgoal baseline (1.640). Het injectiemechanisme alleen, zonder temporele coherentie, schaadt de prestaties.
• Sweet Spot ($P \in [3, 6]$): De prestaties verbeteren scherp bij $P=3$ (LM Loss 1.544, een daling van 0.13 ten opzichte van de baseline) en blijven robuust tot $P=6$.
• Over-commitment ($P=8$): De prestaties nemen pas geleidelijk af naarmate $P$ boven het optimum stijgt. Dit geeft aan dat veroudering (staleness) een zachtere foutmodus is dan instabiliteit; een licht verouderd subdoel biedt nog steeds directionele consistentie, terwijl een direct herzien subdoel dat niet doet.
• Replicatie: De $P=3$ configuratie werd gerepliceerd over 5 seeds, wat een gemiddelde LM loss van 1.595 (std 0.045) opleverde, wat bevestigt dat het resultaat geen artefact van een enkele seed is.

2. Smalle Optimum voor Alignment Gewicht ($\lambda$)

• Het alignment gewicht vertoont een smalle optimum bij $\lambda \approx 0.05$.
• Bij $\lambda = 0.10$ nadert de prestatie de baseline, en bij $\lambda \ge 0.20$ degradeert deze onder de baseline.
• Dit suggereert dat de alignment loss het beste functioneert als een lichtgewicht planning prior die de worker-dynamiek subtiel vormgeeft, in plaats van een dominante geometrische beperking die concurreert met de taakgradiënt.

3. Bron van Interferentie (Ablatieonderzoek)

Bij $\lambda = 0.10$ (voorbij het optimum) presteert het volledige mechanisme minder goed dan de baseline. Een gecontroleerde ablatie isoleerde de oorzaak:

• $A_{full}$ (Geleerde Richtingen): Presteert slechter dan de baseline (+0.100 LM loss).
• $E_{random}$ (Willekeurige Richtingen): Presteert bijna identiek aan de baseline (+0.003 LM loss).
• Conclusie: De interferentie wordt specifiek gedreven door de geleerde directionele structuur, niet door de architecturale capaciteit of de hulp-loss term zelf. Wanneer het alignment gewicht te hoog is, bezet de geleerde richting representatieve capaciteit die de worker anders voor de taak zou gebruiken, waardoor de worker naar richtingen wordt getrokken die weliswa면 alignment dienen, maar niet het LM-doel.

Betekenis en Claims

Het papier claimt een fundamenteel ontwerpprincipe te hebben geïdentificeerd voor compositionele planning in latente redeneersystemen: intentie op de middellange termijn moet coherent zijn over genoeg computationele stappen zodat een compositionele structuur kan ontstaan.

• Ontwerpprincipe: Een subdoelmechanisme zonder persistentie ($P=1$) bezit de architecturale vorm van compositionaliteit (manager, worker, intentie-vector) maar mist de functie. Het kan niet de temporeel uitgebreide structuur produceren die vereist is om onderscheid te maken tussen "het plannen van een sequentie van stappen" en "het nemen van een enkele stap met extra signaal".
• Stabiliteit-Adaptiviteit Trade-off: De bevindingen kwantificeren de trade-off, waarbij wordt aangetoond dat latente planners een minimale coherentiehorizon ($P \ge 3$) nodig hebben om de computation te organiseren, maar dat veroudering (lange $P$) tolerabeler is dan instabiliteit.
• Rol van Alignment: Het alignment signaal fungeert als een zachte prior. Het is het meest effectief wanneer het de worker begeleidt zonder de taakspecifieke gradiënten te overstemmen, zoals blijkt uit de smalle optimum bij $\lambda \approx 0.05$.

De auteurs presenteren dit als een bijdrage aan compositioneel leren, waarbij zij aantonen dat expliciete intentiesignalen op de middellange termijn, mits correct gepersisteerd, het mogelijk maken om subdoel-geconditioneerde verborgen toestand-updates samen te voegen tot langere-horizon computation. Het werk is empirisch bescheiden, waarbij wordt opgemerkt dat de winsten relatief zijn aan de baseline en beperkt zijn tot ARC-achtige taken, maar de geïdentificeerde trade-off wordt gepresenteerd als een generaliseerbare beperking voor hiërarchische latente redenering.