Technische Samenvatting: ACTIVATIONREASONING (AR)

Probleemstelling

Grote Taalmodellen (LLMs) blinken uit in het genereren van vloeiende tekst, maar lijden onder ondoorzichtige interne redeneermechanismen. Hun interne activaties zijn verdeeld en verstrengeld (een fenomeen dat bekendstaat als superpositie), waarbij meerdere ongerelateerde eigenschappen in overlappende dimensies worden gecodeerd. Dit vertroebelt conceptuele representaties, beperkt de interpreteerbaarheid en hindert systematisch redeneren, compositieve generalisatie en handhaving van regels. Hoewel Sparse Autoencoders (SAEs) zijn opgekomen als een hulpmiddel om latente eigenschappen aan het licht te brengen die vaak overeenkomen met voor mensen interpreteerbare concepten, blijven deze eigenschappen fragiel, passief en vaak polysemisch of contextueel instabiel. Cruciaal ontbreekt het SAEs aan mechanismen voor compositie en hoger-orde redenering. Omgekeerd biedt formele logica expliciete compositie en transparantie, maar gaat deze uit van discrete propositie-eenheden, wat in strijd is met de continue, gesuperponeerde representaties van LLMs. Deze mismatch heeft historisch de directe integratie van symbolisch redeneren in neurale architecturen gehinderd.

Methodologie: ACTIVATIONREASONING (AR)

De auteurs stellen ACTIVATIONREASONING (AR) voor, een raamwerk dat expliciete logische redenering direct in de latente activatieruimte van LLMs inbedt. AR behandelt uit SAE's afgeleide eigenschappen als propositie-eenheden en combineert deze via door de gebruiker gedefinieerde regels. Het raamwerk werkt in drie distincte fasen:

1. Latente Representaties Vinden

De eerste fase bouwt een conceptwoordenboek ($D$) op dat is geworteld in de latente ruimte van de LLM.

• Formalisatie: Een concept $c$ wordt gedefinieerd als een tuple $(n_c, r_c, \tau_c)$, waarbij $n_c$ een semantische identifier is, $r_c$ de functie voor latente representatie, en $\tau_c$ een zachte activeringsdrempel.
• SAE-integratie: Om superpositie aan te pakken, worden ruwe LLM-activaties geprojecteerd naar een ruimte met schaarse eigenschappen met behulp van SAE's om monosemantiek te bevorderen.
• Representatietypes: AR ondersteunt drie vormen van latente representatie om variërende niveaus van abstractie en polysemie te hanteren:
  • Enkele eigenschap ($R_{single}$): Koppelt een concept aan één SAE-eigenschap.
  • Meerdere eigenschappen ($R_{multi}$): Associeert een concept met een set van $k$ SAE-eigenschappen, waarbij bewijs wordt geaggregeerd via gewogen sommen om gefragmenteerde of polysemische eigenschappen te hanteren.
  • Relatie-eigenschap ($R_{relation}$): Definieert concepten via gestructureerde relaties (bijvoorbeeld beslisbomen) tussen SAE-eigenschappen, waardoor complexe interacties mogelijk zijn zoals conjuncties of contextafhankelijke uitsluitingen (bijvoorbeeld het onderscheid tussen haatzaaiende taal en educatief gebruik).
• Extractie: Representaties worden automatisch geïnduceerd door SAE-eigenschappen te identificeren die tokens gelabeld met een concept het beste onderscheiden van die welke dat niet zijn, of handmatig toegewezen door experts.

2. Propositionen Activeren

Tijdens inferentie bewaakt AR token-niveau activaties om deze af te beelden op atomische propositionen.

• Activeringscore: Voor elke token $t$ en concept $c$ wordt een activeringscore $a(c, t)$ berekend op basis van het gekozen representatietype (bijvoorbeeld het optellen van gewogen eigenschapswaarden voor $R_{multi}$).
• Vorming van Propositionen: Scores worden gethresholdd tegen $\tau_c$ om een activatiematrix $A$ te vormen. Deze matrix bevat:
  • Lokale Activeringen ($A_{local}$): Token-niveau bewijs.
  • Globale Activeringen ($A_{global}$): Op sequentie-niveau geaggregeerd bewijs, dat abstracte semantiek vastlegt (bijvoorbeeld sarcasme) die pas over een reeks tekst ontstaat.

3. Logisch Redeneren

Door de gebruiker gedefinieerde logische regels ($L$) worden toegepast op de activatiematrix $A$ om hoger-orde structuren af te leiden.

• Forward Chaining: Het systeem past iteratief regels toe (bijvoorbeeld $Brug \land San Francisco \land USA \rightarrow Golden Gate Bridge$) op de gediscretiseerde activeringen.
• Verrijkte Matrix: Het proces levert een verrijkte matrix $A'$ op die zowel direct gedetecteerde concepten als afgeleide propositionen bevat. Dit stelt het systeem in staat nieuwe concepten samen te stellen die afwezig waren in het oorspronkelijke SAE-woordenboek en meer-hop deductie uit te voeren.

Integratie en Controle

De verrijkte matrix $A'$ dient twee doelen:

1. Analyse: Gedetailleerde inspectie van modelgedrag, het traceren van fouten naar specifieke activeringen, en het evalueren van naleving van veiligheidsregels.
2. Controle: Directe ingreep tijdens inferentie. AR kan het model sturen door latente activeringen die overeenkomen met specifieke concepten te versterken of te onderdrukken (bijvoorbeeld sturen naar "Veilig" of "Rood") met behulp van decoder-gewichten afgeleid van de SAE.

Belangrijkste Bijdragen

1. Raamwerk: Introductie van ACTIVATIONREASONING (AR), een methode die logische propositionen grondt in latente SAE-eigenschappen en compositief redeneren mogelijk maakt via expliciete regels.
2. Benchmark: Voorstel van Rail2Country, een nieuwe benchmark voor redeneren over meta-niveau conceptbeschrijvingen (bijvoorbeeld gelijkenissen zoals "gekleurd als een tomaat" in plaats van expliciet "rood").
3. Empirische Validatie: Aantonen dat latente activeringen een levensvatbaar substraat vormen voor gestructureerd logisch redeneren, wat de transparantie, robuustheid en controle verbetert bij redenerings-, abstractie- en veiligheidstaken.

Experimentele Resultaten

De auteurs evalueerden AR op Llama-3.1-8B en Gemma-2-9B backbones in vier settings:

• Multi-Hop Redeneren (PrOntoQA): AR loste deductieve taken op met 1, 3 en 5 hops met nauwkeurigheden die 93% overschreden. In tegenstelling tot baselines (inclusief grotere instructie-getrainde modellen en op redeneren gespecialiseerde modellen zoals DeepSeek-R1), degradeerde de prestatie van AR niet naarmate de taakcomplexiteit toenam.
• Meta-niveau Abstractie (Rail2Country): In de R2C-Mono setting (expliciete kleuren) presteerde AR aanzienlijk beter dan baselines. In de R2C-Meta setting (kleuren beschreven via gelijkenissen) stortten vanille SAE's in naar 0% nauwkeurigheid, en daalden basis LLM's naar ~30%. AR behield robuuste prestaties, met 86% op Gemma-2-9B, en overbrugde succesvol de kloof tussen expliciete lexische aanwijzingen en impliciete semantische beschrijvingen.
• Redeneren in Natuurlijke Taal (ProverQA): AR toonde robuustheid tegen taalkundige diversiteit, met een nauwkeurigheid van ~70% op "Hard" tier problemen waar alle andere modellen (inclusief GPT-4o en DeepSeek-R1) onder de 50% bleven.
• Veiligheid en Uitlijning (BeaverTails): AR verbeterde de gebalanceerde nauwkeurigheid over 14 veiligheidsdimensies. De relatie-representatie ($R_{relation}$) behaalde de beste algehele prestatie (83,0%), aanzienlijk beter dan basis SAE's (57,9%) en varianten met enkele/meerdere eigenschappen, met name bij abstracte en contextgevoelige veiligheidsconcepten.

Betekenis en Claims

Het artikel claimt dat het grondvesten van logische structuur in latente activeringen een model-agnostisch mechanisme biedt dat de prestaties van redeneren verbetert, terwijl het tegelijkertijd transparantie en controle verhoogt. Belangrijke claims zijn:

• Robuustheid: AR schaalt robuust met redeneercomplexiteit en generaliseert naar abstracte, contextgevoelige taken waar standaard LLMs en zelfs grotere modellen falen.
• Overdraagbaarheid: De aanpak is overdraagbaar over verschillende modelbackbones (Llama en Gemma).
• Efficiëntie: AR brengt minimale runtime-overhead met zich mee in vergelijking met Chain-of-Thought (CoT) of op redeneren gespecialiseerde modellen, aangezien redeneren plaatsvindt in de activatieruimte in plaats van via uitgebreide token-generatie.
• Controleerbaar Besturen: Door te opereren op discrete propositionen afgeleid van latente eigenschappen, stelt AR controleerbare mechanismen voor veiligheid en uitlijning in staat, waardoor directe sturing van modelgedrag mogelijk is zonder hertraining.

De auteurs positioneren AR als een stap richting het verenigen van de semantische rijkdom van LLMs met de systematische generalisatie van logica, bewegend naar modellen die betrouwbaarder, bestuurbaarder en beter afgestemd zijn op menselijke waarden. Zij erkennen beperkingen met betrekking tot de afhankelijkheid van de kwaliteit van SAE's en de huidige afhankelijkheid van handmatig gedefinieerde regels, en suggereren toekomstig werk in geautomatiseerde regelinductie en probabilistisch redeneren.