Semantic Prompting: Agentic Incremental Narrative Refinement through Spatial Semantic Interaction

Resumo Técnico: Semantic Prompting e o Sistema S-PRISM

1. Problema e Contexto

O processo de sensemaking (compreensão de dados) é inerentemente iterativo e não linear. Envolve loops contínuos entre a forrageamento de informações, extração, estruturação e síntese. Embora os Modelos de Linguagem Grande (LLMs) ofereçam oportunidades para automatizar a geração de narrativas a partir de layouts espaciais (como quadros brancos digitais), as abordagens atuais apresentam três lacunas críticas de usabilidade:

1. Desalinhamento entre Interação e Revisão (G1): Métodos existentes (como regeneração completa ou colagem rígida) frequentemente reescrevem o texto inteiro ou falham em atualizar seções específicas. Pequenos ajustes espaciais resultam em grandes variações linguísticas não intencionais, distraindo o usuário.
2. Desalinhamento de Intenção Humano-LLM (G2): A natureza de "caixa preta" dos LLMs impede a transparência. Os usuários não conseguem ver como o modelo interpreta suas interações espaciais (ex.: destacar uma palavra), levando a resultados que não correspondem à intenção real (ex.: adicionar o termo no parágrafo errado em vez de na conclusão).
3. Falta de Customização Granular (G3): Sistemas atuais são frequentemente rígidos, baseados em templates fixos que não conseguem traduzir nuances semânticas do espaço de trabalho em atualizações de texto precisas e controláveis.

2. Metodologia: Semantic Prompting e S-PRISM

Para abordar essas lacunas, os autores propõem o Semantic Prompting, um novo paradigma que traduz interações espaciais semânticas em prompts executáveis para guiar a refinamento de narrativas. A implementação deste framework é o sistema S-PRISM (Semantic Prompting and Refinement for Interactive Spatial Manipulation).

Arquitetura do Sistema (Pipeline Multi-Agente):
O S-PRISM utiliza um pipeline hierárquico de agentes dividido em quatro etapas:

1. Interagir (Interact): O usuário manipula documentos em um layout espacial (arrastar para frames, destacar palavras, adicionar notas adesivas). O sistema aceita entradas textuais e manipulações espaciais.
2. Perceber (Perceive): O sistema captura dois tipos de dados: ajustes de prompts (configurações de tarefa) e interações semânticas (15 tipos, incluindo adição/remoção de frames, alterações de frequência de destaque, reorganização posicional).
3. Raciocinar (Reason): Um Agente Inferidor analisa as interações espaciais para deduzir a intenção humana latente.
   • Inovação: O sistema expõe o raciocínio do agente na interface (bolhas de texto), permitindo que o usuário verifique a lógica antes da execução (transparência).
   • O agente responde a: "Por que o usuário fez isso?" e "Como o relatório deve ser revisado?".
4. Agir (Act): Um Agente Refinador executa as atualizações no relatório baseado nas intenções inferidas.
   • Heurísticas de Segurança: Minimiza reescritas desnecessárias, restringe edições às seções alvo e preserva a consistência estrutural.
   • O sistema gera um diff (comparação) automático, destacando apenas as alterações no painel de relatório.

Interface:
O S-PRISM oferece um workspace de manipulação direta (com frames, destaques e notas) e uma barra lateral para configurações de prompt e modelo. O fluxo permite que o usuário alterne de "Geração de Relatório" para "Refinamento de Relatório", mantendo o controle sobre quando o LLM executa as mudanças.

3. Contribuições Principais

1. Novo Paradigma de Interação (Semantic Prompting): Conecta interações espaciais intuitivas com o raciocínio de LLMs, permitindo revisões de narrativa direcionadas através de metáforas espaciais, sem a necessidade de reescrever prompts complexos manualmente.
2. Sistema S-PRISM: Uma implementação funcional baseada em um pipeline multi-agente que suporta fluxos de trabalho iterativos com "humano no loop", expondo o raciocínio do agente para melhorar o alinhamento de intenções.
3. Avaliação Empírica e Estudo de Usuário: Validação quantitativa e qualitativa que demonstra a superioridade do método sobre abordagens de regeneração completa.

4. Resultados

Avaliação Empírica (Precisão e Fidelidade Semântica):
Comparado a uma linha de base de "Regeneração do Zero" (ReSPIRE), o S-PRISM demonstrou:

• Refinamento Direcionado: Precisão significativamente maior (0.951 vs 0.752) e F1-score superior (0.887 vs 0.858). O S-PRISM evita reescrever parágrafos que não precisam de alteração.
• Fidelidade Semântica: O S-PRISM alcançou maior precisão (0.558 vs 0.348) e F1-score (0.614 vs 0.463) na correspondência entre as interações do usuário e o texto gerado, embora o recall tenha sido comparável.

Estudo de Usuário (N=14):

• Alinhamento de Intenção (RQ1): Os participantes conseguiram refinar relatórios incrementalmente com sucesso. A curva de correção do relatório mostrou melhoria cumulativa estável com o S-PRISM, enquanto a linha de base apresentou instabilidade.
• Transparência e Confiança (RQ2): A exposição do raciocínio do agente foi crucial. Os usuários valorizaram a capacidade de verificar a lógica do sistema antes da execução. Notas adesivas funcionaram como "meta-prompts" eficazes para corrigir erros de interpretação do LLM (ex.: quando um destaque não foi aplicado na seção correta).
• Customização Granular (RQ3): O sistema permitiu ajustes estruturais (reorganização de hierarquia via frames) e detalhados (alteração de tom ou foco via notas), atendendo a necessidades personalizadas.
• Interação Espacial vs. Prompting: Curiosamente, quatro participantes completaram tarefas complexas sem modificar os prompts de texto, guiando o agente apenas através do layout espacial, validando a eficácia do "zero-prompt" em contextos bem estruturados.

5. Significado e Impacto

O trabalho apresenta uma mudança fundamental na interação Humano-LLM para tarefas de escrita e síntese:

• Superação da "Caixa Preta": Ao tornar o processo de inferência de intenção visível e verificável, o S-PRISM reduz a fricção cognitiva e aumenta a confiança do usuário.
• Formalização Incremental: O sistema suporta o processo natural de sensemaking, onde o entendimento evolui gradualmente, permitindo que o usuário comece informalmente e refine a estrutura e o conteúdo de forma controlada.
• Escalabilidade de Intenção: Demonstra que metáforas espaciais (agrupamento, destaque, anotação) podem ser mapeadas para intenções de alto nível de forma mais robusta do que prompts textuais tradicionais, especialmente para usuários que não são especialistas em engenharia de prompts.

Em suma, o Semantic Prompting e o S-PRISM oferecem uma solução robusta para o problema de manter a coerência e o controle do usuário durante a geração e refinamento de narrativas assistidas por IA, transformando o espaço de trabalho visual em uma memória externa ativa e alinhada com a intenção cognitiva do usuário.