💬 NLP

Inclusion-of-Thoughts: Mitigating Preference Instability via Purifying the Decision Space

O artigo propõe o método "Inclusion-of-Thoughts" (IoT), uma estratégia de auto-filtragem progressiva que reconstrói questões de múltipla escolha removendo distratores plausíveis para estabilizar as preferências do modelo, aumentar a transparência e melhorar significativamente o desempenho em raciocínio com baixo custo computacional.

Autores originais: Mohammad Reza Ghasemi Madani, Soyeon Caren Han, Shuo Yang, Jey Han Lau

Publicado 2026-04-08

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mohammad Reza Ghasemi Madani, Soyeon Caren Han, Shuo Yang, Jey Han Lau

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em uma sala de aula e o professor faz uma pergunta de múltipla escolha. A resposta correta está ali, bem na sua frente. Mas, ao redor dela, existem três ou quatro "pegadinhas" (opções que parecem plausíveis, mas estão erradas).

Às vezes, o seu cérebro fica tão confuso com essas pegadinhas que ele começa a oscilar: "Será que é a A? Não, a B parece melhor... mas espera, a C também faz sentido!" No final, você pode escolher a errada, não porque não sabia a resposta, mas porque a confusão das opções extras atrapalhou seu raciocínio.

É exatamente esse o problema que os Modelos de Linguagem (LLMs) — como o ChatGPT — enfrentam. Eles sabem a resposta, mas as "pegadinhas" nas perguntas de múltipla escolha fazem eles ficarem indecisos e instáveis.

O artigo que você leu apresenta uma solução criativa chamada IoT (Inclusion-of-Thoughts), que podemos traduzir como "Inclusão de Pensamentos".

A Analogia do "Filtro de Café"

Pense no modelo de IA como um barista talentoso, mas um pouco ansioso. Quando você pede um café (a resposta), ele vê vários grãos (as opções) na mesa:

Grão A: O café perfeito (a resposta certa).
Grão B, C, D: Grãos que parecem café, mas são apenas cascas ou terra (as distrações).

O barista tenta escolher o melhor grão, mas fica tão preocupado em comparar todos eles que acaba escolhendo um errado por nervosismo.

O método IoT funciona como um filtro de café inteligente que limpa a mesa antes de ele decidir. Em vez de deixar o barista olhar para todos os grãos de uma vez, o IoT faz um processo de três etapas:

1. A Primeira Tentativa (O Rascunho)

O barista olha para todos os grãos e diz: "Eu acho que o Grão A é o melhor".

O que acontece: O modelo dá sua primeira resposta.

2. O Teste de Realidade (A "Segunda Chance")

Aqui vem a mágica. O IoT pega o Grão A (a escolha do barista) e o esconde da mesa, substituindo-o por um cartão que diz "Nenhuma das opções".
Agora, o barista olha para o que sobrou (Grãos B, C, D) e pergunta: "Agora que o Grão A sumiu, qual é o melhor?"

Cenário A (Estável): Se o barista disser "Nenhuma das opções, o Grão A era realmente o único bom", o processo para! Ele confirma que a primeira escolha era sólida.
Cenário B (Instável): Se o barista disser "Ah, agora vejo que o Grão B é o melhor", isso significa que ele estava indeciso entre A e B.

3. O Duelo Final (A Decisão Limpa)

Se o barista ficou indeciso entre A e B, o IoT cria uma nova mesa com apenas esses dois grãos. Ele remove todas as outras distrações (C e D).
Agora, o barista olha apenas para A e B e diz: "Ok, entre estes dois, o A é definitivamente o melhor".

Por que isso é genial?

Limpa a Confusão: Ao remover as opções irrelevantes, o modelo foca apenas no que realmente importa. É como tirar o ruído de fundo de uma música para ouvir a letra claramente.
Economiza Energia: Se o modelo já estiver seguro na primeira tentativa (Cenário A), o processo para ali. Não é preciso gastar tempo e energia pensando demais.
Transparência: O método mostra como o modelo pensou. Se ele mudou de ideia, sabemos que havia uma dúvida. Se ele manteve a ideia, sabemos que estava confiante.

O Resultado na Vida Real

Os autores testaram isso em várias provas de matemática, lógica e conhecimento geral. O resultado foi impressionante:

Os modelos ficaram mais precisos.
Eles cometeram menos erros por confusão.
Tudo isso com pouco custo extra de computação (não precisa de supercomputadores gigantes).

Em Resumo

O IoT é como um treinador que diz ao aluno: "Não se preocupe com todas as opções erradas. Vamos focar apenas nas duas melhores e decidir entre elas". Isso transforma a indecisão em clareza, permitindo que a Inteligência Artificial mostre todo o seu potencial de raciocínio, sem se perder nas distrações.

É uma forma simples, mas poderosa, de ensinar a máquina a ter mais confiança em suas próprias respostas.

Título: Inclusion-of-Thoughts (IoT): Mitigando a Instabilidade de Preferência via Purificação do Espaço de Decisão

1. O Problema: Instabilidade de Preferência em Questões de Múltipla Escolha

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem sucesso em diversas tarefas de NLP, sua capacidade de raciocínio em Questões de Múltipla Escolha (MCQs) permanece vulnerável. O artigo identifica que as falhas não decorrem apenas da falta de conhecimento ou de passos de raciocínio insuficientes, mas sim de uma instabilidade de preferência quando o modelo é exposto a distratores plausíveis.

Carga Cognitiva: A presença de múltiplas opções plausíveis desvia a atenção do modelo, causando oscilações entre a resposta correta e incorreta.
Fragilidade: Mesmo quando a resposta correta está entre os candidatos de alta confiança do modelo, a comparação final pode falhar devido à ambiguidade competitiva entre as opções, levando a previsões finais flutuantes e instáveis.
Limitações de Métodos Atuais: Técnicas existentes como Chain-of-Thought (CoT) padrão, Self-Consistency (SC) e métodos de busca (como Tree-of-Thought) muitas vezes exigem alto custo computacional (muitas amostragens ou loops complexos) ou não abordam diretamente a raiz da instabilidade na seleção de opções.

2. Metodologia: Inclusion-of-Thoughts (IoT)

O IoT é uma estratégia de auto-filtragem progressiva e zero-shot (sem treinamento adicional) projetada para "purificar" o espaço de decisão. Em vez de expandir o espaço de raciocínio através de amostragem massiva, o IoT foca em isolar e estabilizar as hipóteses de maior confiança do modelo.

O método opera em um pipeline de três estágios:

Estágio 1: Elicitação da Preferência Inicial
- O modelo recebe a MCQ original com todas as opções ( $O$ ) e um prompt padrão de CoT.
- O modelo gera sua resposta mais provável, denotada como $o^*_1$ .
Estágio 2: Segunda Avaliação de Plausibilidade (Perturbação Controlada)
- O conjunto de opções é perturbado: a escolha inicial ( $o^*_1$ ) é removida e substituída por um placeholder neutro ("nenhuma das opções").
- O modelo é consultado novamente sobre este conjunto modificado ( $O'$ ).
- Se o modelo selecionar "nenhuma das opções", isso indica que $o^*_1$ é robustamente superior a todas as outras. Se selecionar outra opção ( $o^*_2$ ), revela-se um candidato plausível alternativo.
- Mecanismo de Parada Antecipada: Se o modelo confirmar que $o^*_1$ é a única escolha válida (selecionando "nenhuma das opções"), o processo para imediatamente, evitando o Estágio 3 e economizando recursos.
Estágio 3: Inferência Final Confinada
- Caso não haja parada antecipada, o modelo é confrontado com uma MCQ reduzida contendo apenas os dois candidatos mais plausíveis identificados: $\{o^*_1, o^*_2\}$ .
- Ao remover os distratores irrelevantes, a carga cognitiva é drasticamente reduzida, permitindo que o modelo foque exclusivamente na comparação entre as duas melhores hipóteses.
- A resposta final é tomada sobre este conjunto restrito.

3. Contribuições Principais

Novo Framework Leve: Proposta do IoT, um método de teste (test-time) que melhora o raciocínio em MCQs isolando e comparando candidatos de alta confiança, sem necessidade de expansão do espaço de raciocínio via amostragem ou busca complexa.
Mudança de Perspectiva: Introdução de uma visão focada na estabilidade de preferência. O trabalho demonstra que muitos erros em MCQs são causados pela oscilação entre opções plausíveis, e não pela falta de conhecimento.
Análise Diagnóstica: O pipeline de três estágios permite uma análise granular das transições de previsão (padrões TTT, FTT, TFF, etc.), ajudando a diagnosticar se erros são devido à instabilidade do modelo, ambiguidade da questão ou rótulos incorretos nos dados.
Eficiência e Transparência: O método é computacionalmente leve (aprox. 2.2x o custo do CoT padrão, comparado a 4.6x do Self-Consistency) e aumenta a interpretabilidade ao documentar explicitamente o processo de filtragem.

4. Resultados Experimentais

O IoT foi avaliado em quatro modelos de linguagem (Llama-3.3-8B, Olmo-2-7B/13B, GPT-4o-mini) em diversos benchmarks de raciocínio aritmético, senso comum e educacional.

Desempenho Geral: O IoT superou consistentemente as linhas de base (CoT, Self-Consistency e Exclusion-of-Thoughts) na maioria das tarefas.
- No modelo Olmo-2-7B, o IoT alcançou o estado da arte (SOTA) em tarefas de senso comum, com ganhos significativos:
  - OBQA: +3.40%
  - CSQA: +2.05%
  - GSM8K-MC: +3.95%
  - ARC: +3.33%
  - MMLU: +1.16%
Robustez: O método reduziu a sensibilidade à ordem das opções (um problema conhecido em LLMs), demonstrando uma estrutura de preferência mais estável.
Análise de Transição: A análise mostrou que a melhoria de desempenho vem principalmente da conversão de casos onde o modelo identificou a resposta correta nos estágios intermediários, mas falhou na escolha final (padrão TFF/FTF), transformando-os em acertos finais.
Custo-Benefício: O IoT oferece ganhos de precisão comparáveis ou superiores ao Self-Consistency (SC), mas com um custo computacional significativamente menor (cerca de metade dos tokens gerados pelo SC).

5. Significado e Conclusão

O artigo "Inclusion-of-Thoughts" oferece uma contribuição significativa para a área de raciocínio em LLMs ao demonstrar que a estabilidade da decisão é tão crítica quanto a capacidade de gerar raciocínio.

Eficiência: Ao "purificar" o espaço de decisão, o IoT prova que é possível melhorar o desempenho sem a necessidade de escalonamento massivo de computação (como múltiplas amostragens ou árvores de busca complexas).
Interpretabilidade: O framework atua como uma ferramenta de diagnóstico, revelando quando e por que um modelo oscila entre respostas, ajudando a identificar ruídos em conjuntos de dados (rótulos ambíguos ou incorretos).
Aplicabilidade: Sendo um método zero-shot e sem supervisão, o IoT pode ser aplicado imediatamente a qualquer modelo pré-treinado, tornando-se uma solução escalável e econômica para melhorar a confiabilidade de LLMs em tarefas de múltipla escolha.

Em suma, o IoT redefine a abordagem para MCQs, focando na consolidação das melhores hipóteses em vez da exploração de novas rotas de raciocínio, mitigando a instabilidade cognitiva induzida por distratores.