Technische Samenvatting: UG-TTT (Onzekerheid-Gestuurde Testtijd-Training)

Probleemstelling

Geautomatiseerde wetenschappelijke ontdekking met Large Language Models (LLM's) staat voor een structurele beperking: terwijl standaard versterkingslering (RL) de gemiddelde prestatie kan verbeteren, faalt het vaak in het ontdekken van echt nieuwe oplossingen, waardoor de maximaal haalbare beloning voortijdig plateaut. Dit fenomeen, mode collapse genoemd, treedt op omdat standaard RL-doelstellingen de verwachte beloning maximaliseren, wat inherent hoge-variatie mutaties bestraft. Bijgevolg convergeert het beleid naar "veilige", vertrouwde patronen die in de trainingsdata voorkomen, in plaats van de schaarse, hoogbelonende gebieden van de kennisgrens te verkennen.

Bestaande pogingen om dit te mitigeren, zoals entropiebonussen of op vertrouwen gebaseerde weging, vertrouwen op één enkel getraind netwerk. Deze methoden onderscheiden niet tussen aleatorische onzekerheid (onherleidbare input-ambiguïteit) en epistemische onzekerheid (gaten in de geleerde kennis van het model). Voor wetenschappelijke ontdekking is deze vermenging dodelijk; het beleid verspillen rekenkracht aan ambigu maar vertrouwd terrein in plaats van de echte kennisgrens waar doorbraken plaatsvinden. Bovendien lijden bestaande testtijd- training (TTT) systemen vaak aan diversiteitscollapse, waarbij meerdere adapters of trajecten convergeren naar identieke gewichtsconfiguraties, waardoor elk exploratiesignaal wordt genuleerd.

Methodologie: UG-TTT

De auteurs stellen UG-TTT (Uncertainty-Guided Test-Time Training) voor, een raamwerk ontworpen om ensemble-diversiteit te behouden en exploratie te richten op posities met hoge epistemische onzekerheid. De methode breidt de TTT-DISCOVER-basislijn uit met drie gekoppelde componenten:

1. Epistemische Onzekerheid via LoRA-Ensembles

In plaats van één adapter, onderhoudt UG-TTT een ensemble van $K$ laag-rang adapters (LoRA) over een gedeeld, bevroren basismodel. Elke adapter $\Theta^{(k)} = \Theta_{base} + B^{(k)}A^{(k)}$ wordt behandeld als een onafhankelijk steekproef uit een variational posterior.

• Signaal: Het systeem berekent Mutuele Informatie (MI) op token-niveau om epistemische onzekerheid te kwantificeren. Dit wordt gedefinieerd als het verschil tussen de entropie van de mengverdeling van het ensemble en de gemiddelde entropie van individuele adapters:
  $$MI_t = H(\bar{p}_t) - \frac{1}{K}\sum_{k=1}^K H(p_{\theta_k}(\cdot | o_{<t}))$$
• Interpretatie: Een hoge MI geeft aan dat ensembleleden het oneens zijn over de volgende token, wat een gebied signaleert dat het model nog niet heeft opgelost (hoge epistemische onzekerheid). Een lage MI geeft overeenstemming aan, zelfs als de tokens ambigu zijn (aleatorische onzekerheid).
• Aggregatie: Om te focussen op een betekenisvol signaal, wordt de MI alleen gemiddeld over de top 7% van de meest onzekere tokens in een rollout, waarbij syntactische standaardtekst wordt gefilterd waar adapters triviaal overeenkomen.

2. Onzekerheidsgevormde Voordeel

Het ruwe MI-signaal wordt geïntegreerd in de policy gradient als een exploratiebonus.

• Normalisatie: De MI-score wordt gestandaardiseerd binnen elke rollout-groep om schaal-invariantie over taken te waarborgen.
• Dynamische Koppeling: De exploratiecoëfficiënt is gekoppeld aan een adaptieve entropische temperatuur $\beta(s)$, die de policy-vertrouwen meet. Naarmate de policy scherper wordt (wat potentieel mode collapse aangeeft), neemt de exploratiedruk automatisch toe. Dit zorgt ervoor dat de bonus precies wordt toegepast wanneer het beleid het risico loopt te convergeren naar een smal scala aan oplossingen.
• Verliesfunctie: De gevormde voordeel $A^{shaped}_i$ vervangt het standaard voordeel in de afgeknipte importance-sampling verliesfunctie, waardoor het beleid wordt geleid naar posities met hoge MI.

3. Subspace-Diversiteitsregularisator (NNM)

Om te voorkomen dat de ensemble-adapters in identieke gewichtsconfiguraties instorten (wat de MI naar nul zou drijven), introduceren de auteurs een Nuclear-Norm Maximization (NNM) regularisator.

• Mechanisme: De regularisator maximaliseert de nucleaire norm (som van singuliere waarden) van de gestapelde down-projection matrices ($A^{(k)}$) over het ensemble.
• Theoretische Garantie: De auteurs bewijzen (Propositie 2) dat onder een vaste Frobenius-norm-beperking het globale maximum van de nucleaire norm wordt bereikt wanneer de rijruimten van de adapters onderling orthogonaal zijn. Deze geometrische voorwaarde zorgt ervoor dat elke adapter een verschillend input-subruimte besteedt, waardoor de niet-triviale aard van de BALD (Bayesian Active Learning by Disagreement) decompositie behouden blijft.

Belangrijkste Bijdragen

1. Decompositie van Onzekerheid: Het artikel toont aan dat het meten van onenigheid over onafhankelijk aangepaste gewichtshypothese (via LoRA-ensembles) noodzakelijk is om epistemische onzekerheid te isoleren, een signaal dat ontbreekt in single-network benaderingen.
2. Nieuwe Regularisatie: De introductie van de Nuclear-Norm Maximization regularisator wordt geïdentificeerd als het kritieke mechanisme voor het handhaven van ensemble-diversiteit. Zonder deze regularisator convergeren adapters binnen twee epochen naar identieke oplossingen, waardoor het exploratiesignaal verdwijnt.
3. Efficiënte Testtijd-Training: UG-TTT bereikt deze winsten met een klein ensemble van laag-rang adapters, waardoor de rekenkosten van volledige modelreplicatie worden vermeden terwijl een distincte posterior over gewichten behouden blijft.

Experimentele Resultaten

De methode werd geëvalueerd op vier benchmarks voor wetenschappelijke ontdekking (AC1, AC2, CP26 en Erdős) met behulp van een Qwen3-8B-model.

• Maximale Beloning: UG-TTT verbeterde de maximale beloning ($R_{max}$) op drie van de vier taken in vergelijking met de TTT-DISCOVER-basislijn. Op de vierde taak (Erdős) haalde het het plafond van de basislijn, terwijl het kwalitatief verschillende oplossingen ontdekte.
• Behoud van Diversiteit: Terwijl de entropie van de oplossingsfamilie van de basislijn tegen epoch 5 instortte tot $\approx 0,65$ bits, handhaafde UG-TTT een entropie van $\approx 1,42$ bits. Dit geeft aan dat het model bleef doorzoeken naar diverse algoritmische families in plaats van te convergeren naar één enkele "veilige" strategie.
• Ontdekking van Nieuwe Oplossingen:
  • AC1: UG-TTT ontdekte het Cauchy-Schwarz-doel ($\sqrt{2n}$) in 18/30 top-rollouts, terwijl de basislijn dit slechts in 1/30 vond.
  • AC2: De basislijn slaagde er niet in scipy.optimize.differential_evolution te gebruiken (0/30 top-rollouts), terwijl UG-TTT dit in 13/30 deed, wat resulteerde in een hogere beloning.
  • Erdős: UG-TTT ontdekte een op Fourier gebaseerde initialisatiestrategie die de basislijn nooit betrad.
• Efficiëntie: UG-TTT bereikte het state-of-the-art plafond op CP26 in 384 rollouts, aanzienlijk minder dan de 25.600 rollouts die door de basislijn werden vereist.

Betekenis en Claims

Het artikel beweert dat diversiteitscollapse in testtijd-ontdekking een structureel gevolg is van single-model, scalar-reward optimalisatie. Door een ensemble-gebaseerd mutual information-signaal te introduceren, gekoppeld aan een nucleaire-norm regularisator, leidt UG-TTT het beleid succesvol naar de "kennisgrens" waar echte ontdekking mogelijk is.

De auteurs benadrukken dat de nucleaire-norm regularisator het "dragende onderdeel" van het systeem is; ablatiestudies bevestigen dat het verwijderen ervan ervoor zorgt dat het onzekerheidssignaal instort en het systeem terugkeert naar standaard RL-gedrag. Het werk suggereert dat het handhaven van subspace orthogonaliteit onder adapters een noodzakelijke voorwaarde is voor het handhaven van exploratie in wetenschappelijke ontdekkingstaken met schaarse beloningen.

Het artikel blijft bescheiden wat generalisatie betreft, met de opmerking dat de resultaten gebaseerd zijn op een specifiek model (Qwen3-8B), een enkele GPU-configuratie en een vast aantal adapters ($K=5$). Het erkent dat het streaming early-stop mechanisme empirische kalibratie vereiste voor specifieke taken en dat het overdragen naar ruisachtige of geleerde verifiers herkalibratie zou vereisen.