Resumo Técnico: Aprendizado de Cadeia de Pensamento Semi-supervisionado (Semi-CoT)

1. Definição do Problema

O artigo aborda uma lacuna na aplicação atual da Cadeia de Pensamento (Chain-of-Thought - CoT). Embora a CoT tenha se mostrado eficaz para elicitar capacidades de raciocínio em Grandes Modelos de Linguagem (LLMs) durante a inferência, os métodos existentes tipicamente tratam as cadeias de raciocínio como prompts transitórios que são descartados após a geração de uma resposta final. Consequentemente, a vasta quantidade de dados não rotulados disponível em domínios como matemática e lógica permanece subutilizada, pois anotações de CoT de alta qualidade são caras para serem produzidas manualmente.

Os autores definem um novo cenário de problema chamado Aprendizado de Cadeia de Pensamento Semi-supervisionado. O objetivo é alavancar um pequeno conjunto de questões rotuladas e um conjunto maior de questões não rotuladas para construir pseudo-supervisão de raciocínio. Diferente do aprendizado semi-supervisionado padrão, que gera pseudo-rótulos (apenas respostas finais), este cenário exige a geração de um par de pseudo-supervisão completo consistindo em uma pseudo cadeia de raciocínio ($\hat{r}_u$) e uma pseudo resposta ($\hat{y}_u$) para cada questão não rotulada ($x_u$):
$$x_u \rightarrow (\hat{r}_u, \hat{y}_u)$$

O desafio central é garantir a confiabilidade dessas cadeias geradas. Um modelo pode produzir uma resposta correta através de uma derivação inválida, ou uma resposta incorreta através de uma cadeia com aparência plausível. Portanto, um mecanismo é necessário para filtrar pseudo-CoTs não confiáveis antes que sejam usados como supervisão ou demonstrações.

2. Metodologia: Estrutura de Trabalho Semi-CoT

Os autores propõem o Semi-CoT, um framework minimalista que opera sem o ajuste fino (fine-tuning) dos parâmetros do modelo. Ele funciona como um método de semi-supervisão ao nível de prompt, projetado para testar se questões não rotuladas podem fornecer sinais de raciocínio confiáveis. O processo envolve três estágios principais:

A. Geração de Pseudo-CoT

Para cada questão não rotulada, o LLM amostra $K$ caminhos de raciocínio distintos (saídas de CoT) usando um gatilho padrão (ex: "Vamos pensar passo a passo"). Cada saída gera um traço de raciocínio e uma resposta final.

B. Portão de Confiabilidade por Entropia Semântica

Para filtrar gerações não confiáveis, o framework utiliza a entropia semântica como um sinal de seleção.

1. Normalização: As respostas extraídas são normalizadas (ex: removendo símbolos de formatação para respostas numéricas).
2. Agrupamento (Clustering): As respostas são agrupadas em clusters semânticos.
3. Cálculo de Entropia: A entropia semântica normalizada $H_{sem}(x_u)$ é computada com base na distribuição desses clusters.
   • Baixa entropia indica alta concordância entre os $K$ caminhos amostrados.
   • Alta entropia indica discordância e incerteza.
4. Seleção: Um pseudo-CoT é aceito apenas se $H_{sem}(x_u) \leq \delta$, onde $\delta$ é um limiar predefinido. A pseudo-resposta aceita é o voto majoritário, e a pseudo cadeia de raciocínio é selecionada a partir dos caminhos que levam a essa resposta majoritária.

C. Banco de Raciocínio Pseudo e Inferência

Os pseudo-CoTs aceitos são armazenados em um banco de raciocínio pseudo $\mathcal{B}$, cada um com uma etiqueta de peso de confiabilidade ($w_u = 1 - H_{sem}(x_u)$). Durante a inferência em uma questão de teste:

• O sistema recupera $M$ demonstrações de $\mathcal{B}$.
• Duas estratégias de recuperação são testadas: Seleção Aleatória e Recuperação TF-IDF (baseada em similaridade lexical).
• As demonstrações recuperadas são anexadas à questão de teste como um prompt, e o LLM gera o raciocínio e a resposta finais.

3. Principais Contribuições

O artigo apresenta as seguintes contribuições específicas:

• Formulação do Problema: Define o Aprendizado de Cadeia de Pensamento Semi-supervisionado, mudando a visão da CoT de uma técnica puramente de tempo de inferência para uma fonte de sinais de aprendizado semi-supervisionado.
• Proposta de Framework: Introduz o Semi-CoT, um pipeline que gera múltiplos pseudo-CoTs, filtra-os usando entropia semântica e utiliza os resultados de alta confiança como demonstrações de raciocínio.
• Evidência Empírica: Fornece evidência piloto de que a seleção baseada em entropia produz pseudo-CoTs de alta precisão em múltiplos conjuntos de dados de raciocínio aritmético.
• Identificação de Limitações: Identifica que a confiabilidade do pseudo-CoT (garantida pela entropia) e a relevância da demonstração (garantida pela recuperação) são desafios distintos. A alta precisão sozinha não garante ganhos de desempenho se as demonstrações forem irrelevantes para a questão de teste.

4. Resultados Experimentais

Os autores conduziram experimentos piloto em quatro benchmarks de raciocínio aritmético: AQuA, SVAMP, GSM8K e MultiArith.

Confiabilidade do Pseudo-CoT

O portão de entropia semântica selecionou com sucesso pseudo-CoTs de alta qualidade. A precisão da pseudo-resposta (acurácia das pseudo-respostas selecionadas contra rótulos de ouro ocultos) foi:

• MultiArith: 100%
• AQuA: 97,14%
• SVAMP: 96,30%
• GSM8K: 91,36%

Desempenho da Tarefa

O impacto na acurácia final da tarefa foi modesto e variou por conjunto de dados:

• SVAMP: +2% de melhoria sobre o Zero-shot CoT.
• GSM8K: +1% de melhoria sobre o Zero-shot CoT.
• AQuA: Mostrou uma leve transferência negativa (o desempenho diminuiu em comparação ao Zero-shot CoT), apesar da alta precisão da pseudo-resposta.
• MultiArith: Todos os métodos atingiram 100% de acurácia, indicando um efeito de teto no cenário piloto.

Estratégia de Recuperação

A comparação entre Seleção Aleatória e Recuperação TF-IDF para seleção de demonstração não mostrou diferença significativa nos subconjuntos piloto. Isso sugere que a simples similaridade lexical é insuficiente para garantir a relevância dos pseudo-CoTs para a questão de teste.

5. Significância e Alegações

O artigo posiciona-se como um relatório técnico que estabelece um novo cenário de problema, em vez de uma solução definitiva. Sua significância reside em:

1. Mudança Conceitual: Reenquadra a CoT como uma forma de auto-treinamento onde o raciocínio gerado pelo modelo pode servir como pseudo-supervisão, unindo a lacuna entre o prompting de tempo de inferência e o aprendizado semi-supervisionado.
2. Validação de Sinais: Demonstra que a entropia semântica é um sinal viável e agnóstico ao modelo para filtrar cadeias de raciocínio confiáveis de dados não rotulados, alcançando alta precisão sem anotação humana.
3. Conclusão Conservadora: Os autores concluem modestamente que, embora as questões não rotuladas possam fornecer sinais de pseudo-raciocínio confiáveis, a seleção confiável não é suficiente para uma melhoria consistente de desempenho. A implementação atual destaca que a relevância da demonstração é um fator crítico e não resolvido. Trabalhos futuros devem abordar mecanismos de recuperação mais fortes, correspondência de padrões de raciocínio ou treinamento de estudante paramétrico para realizar plenamente o potencial do Semi-CoT.

O artigo evita explicitamente alegar que a implementação atual ao nível de prompt é uma solução de estado da arte, observando que os ganhos observados são pequenos e que a transferência negativa continua sendo um risco se a relevância não for gerenciada.