Thinking Through Signs: PEEL as a Semiotic Scaffolding for Epistemically Accountable AI-Enabled Research

Resumo Técnico: Pensando através de Signos: PEEL como um Andaime Semiótico para a Pesquisa Capacitada por IA com Responsabilidade Epistêmica

Problema
O artigo aborda a erosão da responsabilidade epistêmica na pesquisa qualitativa baseada em texto causada pela integração de Modelos de Linguagem de Grande Escala (LLMs). Embora os LLMs acelerem tarefas como leitura, codificação e sumarização, eles introduzem uma opacidade que ameaça a capacidade do pesquisador de manter a validade interpretativa. Os autores argumentam que delegar etapas interpretativas a sistemas de IA estocásticos corre o risco de criar "ilusões de compreensão", onde saídas fluentes mascaram distorções sistemáticas em quantidade, frequência de termos e voz epistêmica. O problema central é a falta de mecanismos para verificar se os resumos gerados por IA representam fielmente os textos de origem ou se eles silenciosamente alteram o peso conceitual e a estrutura argumentativa do material original.

Metodologia: O Framework PEEL
Para enfrentar esses riscos, os autores introduzem o PEEL (Protocols for Epistemically Engaged Literacy in AI — Protocolos para Alfabetização Epistemicamente Engajada em IA), um andaime de trabalho que combina tecnologias determinísticas e estocásticas fundamentadas na semiótica peirceana e no raciocínio abdutivo. O framework é desenhado como um ambiente assimétrico onde o pesquisador atua como o agente central, contrastando os resultados de duas ferramentas distintas:

1. Voyant Tools: Uma plataforma não-IA, determinística, para análise linguística e "leitura distante". Ela fornece métricas estáveis e mensuráveis (ex: contagem de tokens, frequência de termos, padrões de distribuição).
2. Claude (LLM): Um agente de IA estocástico usado para interpretação e condensação de texto, guiado por uma "habilidade" (skill) específica (um protocolo de prompt estruturado).

O Processo PEEL
A metodologia é operacionalizada através de um fluxo de trabalho de três fases aplicado aos textos de origem:

• Fase 1 (Fundamentação Quantitativa): O texto de interesse (ToI) é carregado no Voyant. O pesquisador instrui o Claude a analisar os dados de tokenização do Voyant (Frequência Bruta/Relativa, Assimetria, etc.) e gerar agrupamentos semânticos baseados no WordNet. Isso ancora a análise semântica da IA em dados lexicais, em vez de sua base de conhecimento interna.
• Fase 2 (Condensação Controlada): O Claude produz condensações de texto (sumarizações) usando uma "habilidade" específica que impõe restrições retóricas e estruturais rigorosas. Essas restrições incluem preservar a estrutura argumentativa da fonte, reter a redação original para passagens conceitualmente densas e classificar edições (ex: distinguindo entre "Reformulação" e "Compressão"). Crucialmente, esta fase inclui um checkpoint epistêmico onde o pesquisador deve aprovar explicitamente a condensação, evitando a inferência silenciosa de aprovação.
• Fase 3 (Operacionalização): O pesquisador utiliza um Spyral Notebook (uma interface de programação literária) para traduzir agrupamentos semânticos em categorias do Voyant e gerar configurações para visualização e análise posteriores.

Evidência Experimental
Os autores aplicaram o PEEL a três textos de origem (Alvarado, Ferrario e Boisseau), comparando resumos gerados por três configurações diferentes de IA: dois modelos não restringidos (AI-1, AI-2) e o Claude guiado pela habilidade (AI-3).

• Distorção de Quantidade: Modelos não restringidos (AI-1, AI-2) produziram resumos com média de apenas 12% do tamanho do texto original, apesar da instrução para produzir 25%. Em contraste, o Claude (AI-3) aderiu estritamente ao alvo (24,9%–29,7%). As falhas dos modelos não restringidos eram invisíveis sem a medição determinística fornecida pelo Voyant.
• Distorção de Frequência de Termos: No texto de Boisseau, a razão entre "responsabilidade" e "confiança" era de 17% na fonte. O AI-1 distorceu isso para 60%, levando a uma conclusão falsa de que a responsabilidade era o conceito organizador do artigo. O Claude manteve a razão em 16%. Todos os modelos, incluindo o Claude, inverteram a frequência relativa de "confiabilidade" versus "confiança", sugerindo um viés sistemático de LLM neste campo semântico.
• Voz Epistêmica: Modelos não restringidos deslocaram a voz narrativa para a terceira pessoa ("o autor argumenta"), introduzindo distância interpretativa. O Claude, guiado pela habilidade, preservou a voz de primeira pessoa do autor original, mantendo a postura epistêmica da fonte.
• Diversidade de Vocabulário: Modelos não restringidos exibiram razões tipo-token mais altas (diversidade de vocabulário) do que a fonte ou o Claude, elevando o risco de injetar conceitos não presentes no original.

Principais Contribuições

1. Andaime PEEL: Um ambiente de trabalho prático que integra análise de texto determinística com interpretação de IA estocástica para criar um "andaime semiótico" para pesquisa responsável.
2. Integração Abdutiva: A aplicação da abdução manipulativa (raciocinar através do fazer) à pesquisa com IA, onde ferramentas geram hipóteses sobre fontes textuais antes da leitura completa, acelerando a investigação enquanto mantém a rastreabilidade.
3. Demonstração Empírica de Distorção: Evidência concreta de que LLMs não restringidos violam silenciosamente restrições quantitativas e distorcem frequências conceituais, criando "ilusões de compreensão" que só podem ser detectadas através de medição não-IA.
4. Implicações de Design: O artigo propõe três princípios de design específicos para a pesquisa capacitada por IA:
   • Instrumentos determinísticos devem acompanhar as ferramentas de IA para medir e verificar as ações da IA.
   • Fluência não é fidelidade; os critérios de avaliação devem incluir fidelidade mensurável ao material de origem, não apenas coerência.
   • A autoridade epistêmica deve ser projetada para dentro, não assumida, exigindo checkpoints explícitos e registrados onde o pesquisador valida as saídas da IA.

Significância e Alegações
O artigo posiciona-se não como uma rejeição da IA, mas como um chamado para um sujeito epistêmico híbrido onde a supervisão humana é estruturalmente incorporada. Os autores afirmam que o PEEL demonstra como pesquisadores podem aproveitar a eficiência dos LLMs sem renunciar à autoridade epistêmica. Ao externalizar signos através de ferramentas determinísticas, os pesquisadores podem gerar hipóteses criativas e manter uma "confiança calibrada" nos outputs da IA. A significância reside na mudança do foco de o que a IA pode fazer para como ela deve ser projetada para apoiar, em vez de erodir, as condições para o julgamento crítico e a responsabilidade acadêmica. Os autores reconhecem que o PEEL é uma prova de conceito preliminar que requer mais estudos sobre escalabilidade e arquitetura, mas afirmam que a questão da autoridade epistêmica deve tornar-se central no design e na revisão da pesquisa capacitada por IA.