Does Less Hallucination Mean Less Creativity? An Empirical Investigation in LLMs

Resumo Técnico: "Menos Alucinação Significa Menos Criatividade? Uma Investigação Empírica em LLMs"

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados para compreensão e raciocínio de linguagem natural, mas sofrem de "alucinação" — a geração de conteúdo factualmente incorreto. Embora pesquisas significativas tenham se concentrado em mitigar alucinações para garantir a confiabilidade factual, particularmente em domínios de alto risco como a descoberta científica assistida por IA, o impacto dessas estratégias de mitigação na criatividade do modelo permanece inexplorado. Esta é uma lacuna crítica porque a descoberta científica depende de um requisito duplo: precisão factual e a geração criativa de hipóteses, o que frequentemente envolve fazer conexões não convencionais que podem se assemelhar superficialmente a alucinações. O artigo investiga se a redução de alucinações inadvertidamente suprime o pensamento divergente necessário para a ideação criativa.

Metodologia
Os autores conduziram uma investigação empírica avaliando os efeitos de três técnicas distintas de redução de alucinação na criatividade através de múltiplas famílias e escalas de modelos:

1. Técnicas Avaliadas:

   • Chain of Verification (CoVe): Um processo de raciocínio de múltiplos estágios envolvendo rascunho, geração de perguntas de verificação, resposta às mesmas e síntese de uma resposta refinada.
   • Decoding by Contrasting Layers (DoLa): Um método de decodificação que contrasta as previsões da camada final com camadas anteriores (especificamente aquela com a maior divergência de Jensen-Shannon) para suprimir tokens menos confiáveis.
   • Retrieval-Augmented Generation (RAG): Um método que fundamenta a geração em conhecimento externo recuperado de um corpus (especificamente tutoriais de programação e documentação neste estudo).

2. Benchmarks e Métricas:

   • NeoCoder: Um benchmark de programação que avalia a criatividade sob cenários de regras progressivamente restritos (análogos a leis científicas). As métricas incluíram Criatividade Convergente (corretude sob restrições) e Criatividade Divergente (novidade de técnicas além de padrões humanos).
   • CS4: Um benchmark de geração de histórias que avalia a escrita criativa de código aberto sob restrições cumulativas. As métricas incluíram Satisfação de Restrições, Coerência, Diversidade (DIST-N) e uma pontuação composta de Criatividade (QUC).

3. Escopo Experimental:

   • Modelos: LLaMA (1B, 8B, 70B), Qwen-Coder (7B) e Mistral (7B).
   • Análise: O estudo mediu as mudanças percentuais nas métricas de criatividade em relação a um baseline (sem redução de alucinação). Adicionalmente, os autores empregaram sondas lineares para identificar quais camadas do transformer se correlacionam com a saída criativa, levando a uma estratégia de decodificação modificada.

Principais Resultados
A investigação revelou que os métodos de redução de alucinação têm efeitos divergentes e opostos na criatividade divergente, enquanto preservam amplamente a criatividade convergente (a capacidade de resolver problemas corretamente).

• CoVe Melhora a Criatividade Divergente: Contrário à hipótese inicial de que a verificação de fatos poderia sufocar a criatividade, o CoVe melhorou consistentemente o pensamento divergente na maioria dos modelos e datasets. Por exemplo, o LLaMA 1B apresentou uma melhoria de até 12,5% no NeoCoder. Os autores atribuem isso ao mecanismo de questionamento, que incentiva uma exploração mais ampla do espaço de soluções e reduz a "visão de túnel".
• DoLa Suprime a Criatividade Divergente: O DoDoL reduziu consistentemente a criatividade divergente (ex: LLaMA 1B caiu ~8% no CS4). Os autores hipotetizam que isso ocorre porque o DoLa contrasta camadas iniciais e tardias; como as camadas iniciais codificam representações exploratórias e divergentes, subtrair essas camadas remove inadvertidamente características necessárias para a geração criativa.
• RAG Mostra Impacto Mínimo: O RAG demonstrou um efeito neutro na criatividade divergente, com flutuações próximas a zero. Os autores sugerem que isso se deve a um descompasso semântico entre o corpus de recuperação (tutoriais técnicos) e a tarefa (descrições narrativas de problemas), resultando em documentos recuperados que careciam de insights algorítmicos específicos ou introduziam ruído.
• A Criatividade Convergente Não é Afetada: Em todos os métodos e modelos, a capacidade de gerar soluções factualmente corretas e que satisfazem restrições permaneceu amplamente inalterada.

Investigação Adicional: Modulação de Camadas
Para abordar a supressão causada pelo DoLa, os autores utilizaram sondas lineares para identificar camadas "correlacionadas com a criatividade". Eles descobriram que as camadas iniciais do transformer exibiam correlações mais fortes com a criatividade divergente do que as camadas posteriores. Ao inverter a lógica do DoLa — amplificando ativações em camadas correlacionadas com a criatividade enquanto suprimiam as anticorrelacionadas — eles conseguiram aumentar a criatividade divergente sem comprometer o desempenho convergente. Isso sugere que a criatividade divergente e a convergente podem ser desacopladas e moduladas independentemente.

Significância e Alegações
O artigo afirma que a relação entre a redução de alucinações e a criatividade não é uniforme; ela depende da técnica específica empregada.

• Para AI4Science: Os achados fornecem orientação para a seleção de métodos de redução de alucinação em aplicações científicas. Técnicas como o CoVe podem ser preferíveis para a geração de hipóteses, pois aumentam a exploração criativa sem sacrificar a convergência factual, enquanto o DoLa pode ser prejudicial à fase imaginativa da descoberta.
• Características Inerentes: A consistência dessas tendências através de diferentes famílias de modelos (LLaMA, Qwen, Mistral) e escalas (1B–70B) sugere que a interação entre o controle factual e o raciocínio criativo é uma característica inerente aos LLMs, e não um artefato de arquitetura ou tamanho.
• Direção Futura: Os autores enfatizam que, embora a programação e a geração de histórias sirvam como proxies, trabalhos futuros devem desenvolver frameworks especificamente para a geração de hipóteses científicas para validar esses achados em contextos de descoberta autênticos. Eles também observam a necessidade de estudos de ablação para isolar os mecanismos específicos pelos quais o questionamento aumenta a criatividade e de melhores estratégias de recuperação para maximizar o potencial do RAG.

Em conclusão, o artigo argumenta que reduzir alucinações não equivale necessariamente a reduzir a criatividade; em vez disso, a escolha da estratégia de mitigação determina se o modelo se tornará uma ferramenta precisa, porém limitada, ou um colaborador equilibrado capaz de precisão factual e ideação criativa.