Technische Samenvatting: Semi-supervised Chain-of-Thought Learning (Semi-CoT)

1. Probleemdefinitie

Het artikel adresseert een gat in de huidige toepassing van Chain-of-Thought (CoT) redeneren. Hoewel CoT effectief is gebleken voor het oproepen van redeneercapaciteiten in Large Language Models (LLM's) tijdens inferentie, behandelen bestaande methoden redeneerketens doorgaans als tijdelijke prompts die worden weggegooid na het genereren van een definitief antwoord. Bijgevolg blijft de enorme hoeveelheid beschikbare ongelabelde data in domeinen zoals wiskunde en logica onderbenut, omdat hoogwaardige CoT-annotaties kostbaar zijn om handmatig te produceren.

De auteurs definiëren een nieuwe probleemstelling genaamd Semi-supervised Chain-of-Thought Learning. Het doel is om een kleine set gelabelde vragen en een grotere set ongelabelde vragen te benutten om pseudo-redeneersupervisie te construeren. In tegen tegenstelling tot standaard semi-supervised learning, dat pseudo-labels genereert (alleen definitieve antwoorden), vereist deze setting het genereren van een volledige pseudo-supervisiepaar bestaande uit een pseudo-redeneerketen ($\hat{r}_u$) en een pseudo-antwoord ($\hat{y}_u$) voor elke ongelabelde vraag ($x_u$):
$$x_u \rightarrow (\hat{r}_u, \hat{y}_u)$$

De kernuitdaging is het waarborgen van de betrouwbaarheid van deze gegenereerde ketens. Een model kan een correct antwoord produceren via een ongeldige afleiding, of een incorrect antwoord via een plausibel lijkende keten. Daarom is een mechanisme vereist om onbetrouwbare pseudo-CoT's te filteren voordat ze worden gebruikt als supervisie of demonstraties.

2. Methodologie: Semi-CoT Framework

De auteurs stellen Semi-CoT voor, een minimaal framework dat opereert zonder de parameters van het model te finetunen. Het functioneert als een prompt-niveau semi-supervised methode, ontworpen om te testen of ongelabelde vragen betrouwbare redeneersignalen kunnen bieden. Het proces bestaat uit drie hoofdfasen:

A. Pseudo-CoT Generatie

Voor elke ongelabelde vraag samplet de LLM $K$ verschillende redeningspaden (CoT-outputs) met behulp van een standaard trigger (bijv. "Let's think step by step"). Elke output levert een redeneringsspoor en een definitief antwoord op.

B. Semantische Entropie Betrouwbaarheidsgate

Om onbetrouwbare generaties te filteren, gebruikt het framework semantische entropie als selectiesignaal.

1. Normalisatie: Geëxtraheerde antwoorden worden genormaliseerd (bijv. het verwijderen van formateringssymbolen voor numerieke antwoorden).
2. Clustering: Antwoorden worden gegroepeerd in semantische clusters.
3. Entropie Berekening: De genormaliseerde semantische entropie $H_{sem}(x_u)$ wordt berekend op basis van de distributie van deze clusters.
   • Lage entropie duidt op een hoge mate van overeenstemming tussen de $K$ gesamplede paden.
   • Hoge entropie duidt op onenigheid en onzekerheid.
4. Selectie: Een pseudo-CoT wordt alleen geaccepteerd als $H_{sem}(x_u) \leq \delta$, waarbij $\delta$ een vooraf gedefinieerde drempelwaarde is. Het geaccepteerde pseudo-antwoord is de meerderheidsstemming, en de pseudo-redeneerketen wordt geselecteerd uit de paden die leiden naar dat meerderheidsantwoord.

C. Pseudo Redeneerbank en Inferentie

Geaccepteerde pseudo-CoT's worden opgeslagen in een pseudo redeneerbank $\mathcal{B}$, elk voorzien van een betrouwbaarheidsgewicht ($w_u = 1 - H_{sem}(x_u)$). Tijdens inferentie op een testvraag:

• Het systeem haalt $M$ demonstraties op uit $\mathcal{B}$.
• Er worden twee retrieval-strategieën getest: Random Selection en TF-IDF Retrieval (gebaseerd op lexicale gelijkenis).
• De opgehaalde demonstraties worden aan de testvraag toegevoegd als een prompt, waarna de LLM de uiteindelijke redenering en het antwoord genereert.

3. Belangrijkste Bijdragen

Het artikel levert de volgende specifieke bijdragen:

• Probleemformulering: Het definieert Semi-supervised Chain-of-Thought Learning, waarbij het perspectief op CoT verschuift van een puur techniek voor inferentietijd naar een bron van semi-supervised learning signalen.
• Framework Voorstel: Het introduceert Semi-CoT, een pipeline die meerdere pseudo-CoT's genereert, ze filtert met behulp van semantische entropie, en de hoog-betrouwbare resultaten gebruikt als redeneerdemonstraties.
• Empirisch Bewijs: Het levert pilot-bewijs dat entropie-gebaseerde selectie hoog-precieze pseudo-CoT's oplevert over meerdere rekenkundige redeneerdatasets.
• Identificatie van Beperkingen: Het identificeert dat pseudo-CoT betrouwbaarheid (gewaarborgd door entropie) en demonstratie relevantie (gewaarborgd door retrieval) onderscheidende uitdagingen zijn. Hoge precisie alleen garandeert geen prestatiewinst als de demonstraties irrelevant zijn voor de testvraag.

4. Experimentele Resultaten

De auteurs hebben pilot-experimenten uitgevoerd op vier rekenkundige redeneerbenchmarks: AQuA, SVAMP, GSM8K, en MultiArith.

Pseudo-CoT Betrouwbaarheid

De semantische entropie gate slaagde erin om hoogwaardige pseudo-CoT's te selecteren. De pseudo-antwoord precisie (nauwkeurigheid van de geselecteerde pseudo-antwoorden ten opzichte van verborgen gouden labels) was:

• MultiArith: 100%
• AQuA: 97,14%
• SVAMP: 96,30%
• GSM8K: 91,36%

Taakprestaties

De impact op de uiteindelijke taaknauwkeurigheid was bescheiden en varieerde per dataset:

• SVAMP: +2% verbetering ten opzichte van Zero-shot CoT.
• GSM8K: +1% verbetering ten opzichte van Zero-shot CoT.
• AQuA: Toonde een milde negatieve transfer (prestaties namen af vergeleken met Zero-shot CoT), ondanks de hoge pseudo-antwoord precisie.
• MultiArith: Alle methoden bereikten 100% nauwkeurigheid, wat wijst op een plafond-effect in de pilot-setting.

Retrieval Strategie

Bij het vergelijken van Random Selection versus TF-IDF Retrieval voor de selectie van demonstraties werd geen significant verschil gevonden in de pilot-subsets. Dit suggereert dat eenvoudige lexicale gelijkenis onvoldoende is om de relevantie van pseudo-CoT's voor de testvraag te waarborgen.

5. Betekenis en Claims

Het artikel positioneert zichzelf als een technisch rapport dat een nieuwe probleemstelling vaststelt, in plaats van een definitieve oplossing. De betekenis ligt in:

1. Conceptuele Verschuiving: Het herformuleert CoT als een vorm van zelf-training waarbij door het model gegenereerde redenering kan dienen als pseudo-supervisie, waarmee de kloof tussen inferentie-tijd prompting en semi-supervised learning wordt overbrugd.
2. Validatie van Signalen: Het demonstreert dat semantische entropie een levensvatbaar, model-agnostisch signaal is voor het filteren van betrouwbare redeneerketens uit ongelabelde data, waarbij een hoge precisie wordt bereikt zonder menselijke annotatie.
3. Conservatieve Conclusie: De auteurs concluderen bescheiden dat hoewel ongelabelde vragen betrouwbare pseudo-redeneersignalen kunnen bieden, betrouwbare selectie niet voldoende is voor consistente prestatieverbetering. De huidige implementatie benadrukt dat demonstratie relevantie een kritieke, onopgeloste factor is. Toekomstig werk moet sterkere retrieval-mechanismen, redeneerpatroon-matching of parametrische student-training aanpakken om het potentieel van Semi-CoT volledig te benutten.

Het artikel vermijdt expliciet de claim dat de huidige prompt-niveau implementatie een state-of-the-art oplossing is, waarbij wordt opgemerkt dat de geobserveerde winsten klein zijn en dat negatieve transfer een risico blijft als relevantie niet wordt beheerd.