Structure for Reading, Prose for Writing: Asymmetric Structural Conditioning in Multi-Agent Document Authoring

No mundo da escrita automatizada, existe uma crença persistente de que a estrutura é a chave definitiva para a clareza. Os computadores há muito tempo são ensinados a ler documentos com mais precisão quando esses documentos estão organizados com etiquetas e rótulos claros, em vez de serem apenas um bloco de texto puro. Este princípio tornou-se uma regra padrão no campo da inteligência artificial: se você quer que uma máquina encontre um fato específico ou siga uma instrução específica, fornecer um mapa estruturado das informações ajuda-a a navegar nos dados. Consequentemente, muitos engenheiros assumiram que essa mesma vantagem estrutural se aplica quando a máquina está escrevendo. A lógica parecia sólida: se a estrutura ajuda um computador a ler, também deve ajudar um computador a escrever.

No entanto, um novo estudo desafia essa suposição ao observar uma tarefa muito específica e de alto risco: a redação de respostas formais a licitações governamentais. Estes são documentos complexos onde uma empresa deve responder a centenas de perguntas de um cliente, muitas vezes aderindo a regras rigorosas de formatação e utilizando a redação exata do cliente. Os pesquisadores construíram um sistema de múltiplos agentes de inteligência artificial para lidar com este trabalho, separando as tarefas de ler os requisitos, reunir fatos e redigir as respostas. Eles testaram este sistema contra propostas escritas por humanos reais submetidas pela mesma organização. O que descobriram foi uma divisão surpreendente na forma como a máquina aprende. Embora a estrutura torne a máquina uma leitora melhor, ela a torna uma escritora pior. O estudo sugere que a melhor maneira de guiar uma IA não é forçá-la a seguir um modelo rígido, mas permitir que ela leia dados estruturados e depois escreva em linguagem natural, aplicando seus próprios controles internos para garantir a qualidade.

Os pesquisadores começaram implementando seu sistema multiagente para redigir respostas para solicitações de compras reais. O sistema foi projetado para ser cauteloso e preciso. Ele não tentava adivinhar respostas; em vez disso, decompunha o trabalho em pequenas etapas. Primeiro, lia os documentos do cliente e os convertia em um formato estruturado que preservava as relações entre perguntas e instruções. Em seguida, reunia informações de uma biblioteca de documentos passados e registros da empresa. Por fim, redigia as respostas. Para ver o quão bem ele desempenhava, a equipe comparou os rascunhos da máquina contra uma proposta real que a organização havia escrito à mão para uma licitação diferente. Nesta comparação, a máquina não tinha nenhum exemplo para copiar; ela teve que confiar inteiramente em seu próprio raciocínio e nos documentos fornecidos.

Um juiz independente, outra inteligência artificial treinada para avaliar a qualidade da escrita em vez de apenas o quão semelhante ela parecia com o original, revisou os resultados. As respostas da máquina foram classificadas como pelo menos tão boas quanto as escritas por humanos em quarenta de cinquenta e cinco seções. Em quatro seções, a máquina foi, de fato, classificada como melhor. Ela não deixou de atender nenhuma seção inteiramente. O único problema importante foi uma única afirmação não sustentada, onde a máquina inferiu um recurso de segurança que o texto não declarava explicitamente. Este resultado foi impressionante, especialmente considerando que a máquina não era um modelo de última geração e não tinha exemplos prévios para aprender.

Mas os pesquisadores não pararam no escore superficial. Eles investigaram mais profundamente as quinze seções onde a máquina teve um desempenho inferior ao do escritor humano. Eles queriam saber se a máquina falhou porque escreveu mal ou porque simplesmente não tinha a informação correta. Descobriram que, em quase setenta por cento desses casos, a "falha" era, na verdade, uma falta de dados. O escritor humano conhecia certos detalhes por experiência ou conversas privadas que o sistema da máquina nunca lhe fora fornecido. Quando os pesquisadores ajustaram a pontuação para ignorar esses fatos ausentes, o desempenho da máquina saltou para quase noventa por cento. Isso revelou um insight crucial: a lacuna entre a máquina e o humano não era principalmente sobre habilidade de escrita, mas sobre acesso à informação. A máquina era uma escritora competente que estava, muitas vezes, prejudicada por briefings incompletos.

O estudo então passou para um experimento mais controlado para testar o papel da estrutura. A equipe pegou as instruções que a máquina recebeu e as apresentou de duas maneiras diferentes. Em uma versão, as instruções foram escritas como texto simples, como um memorando padrão. Na outra, as instruções foram convertidas em um formato aninhado e estruturado, semelhante a um arquivo digital com etiquetas. Eles esperavam que a versão estruturada ajudasse a máquina a entender melhor a tarefa, assim como ajudou com a leitura. Em vez disso, ocorreu o oposto. Quando as instruções eram estruturadas, a qualidade das respostas caía significativamente. A máquina produzia menos respostas corretas e repetia as instruções em sua própria escrita com mais frequência, um sinal de que estava confusa.

Os pesquisadores perceberam que a estrutura muda no que a máquina presta atenção. Quando as instruções eram texto simples, a máquina focava no significado do pedido. Quando as instruções eram estruturadas com etiquetas, a máquina focava nas próprias etiquetas. Ela começou a tratar o nome do cliente ou o título do documento como a parte mais importante da frase, levando-a a iniciar suas respostas com frases estranhas como "O cliente exige..." em vez de responder diretamente à pergunta. Isso mostrou que, embora a estrutura ajude uma máquina a localizar informações, ela pode distrair uma máquina quando esta precisa gerar novo conteúdo.

A equipe também investigou como a máquina lida com regras sobre o que não fazer. Descobriram que simplesmente dizer à máquina "não use esta palavra" muitas vezes piorava o problema. A máquina fixava-se na palavra proibida e acabava incluindo-a mesmo assim, ou usava-a de uma forma que quebrava as regras. No entanto, quando deram à máquina um teste para executar em suas próprias frases — pedindo que verificasse se uma frase era muito semelhante à pergunta original e a reescrevesse, se necessário — os erros desapareceram. A máquina aprendeu a policiar a si mesma sem ser instruída exatamente sobre o que evitar.

Finalmente, os pesquisadores notaram uma falha sutil, mas perigosa, na forma como o sistema lidava com suas próprias notas. A máquina às vezes adicionava uma pequena marca a um documento para indicar um ponto específico. Essa marca alterava ligeiramente o comprimento do texto. Como a máquina processava o texto em blocos de tamanho fixo, essa pequena mudança no comprimento deslocava os limites dos blocos. Como resultado, a máquina olhava para um conjunto de palavras diferente do pretendido, levando a um número completamente diferente de perguntas extraídas. Uma diferença de apenas duas marcas no texto fez com que o sistema extraísse dezessete perguntas a menos. Isso mostrou que até mesmo mudanças minúsculas e aleatórias na forma como a máquina anota seu trabalho poderiam cascatear em grandes erros, simplesmente porque o sistema era muito rígido na forma como fatiava a informação.

O quadro geral que emerge é de um equilíbrio cuidadoso. O estudo não afirma que a inteligência artificial resolveu o problema de escrever documentos formais, nem sugere que as máquinas estejam prontas para substituir totalmente os escritores humanos. Em vez disso, oferece um mapa preciso de onde a tecnologia funciona e onde ela enfrenta dificuldades. A máquina é uma ferramenta poderosa para ler e organizar informações, especialmente quando essa informação é estruturada. Mas, quando se trata de escrever, forçá-la a uma estrutura rígida pode confundi-la. A abordagem mais eficaz é permitir que a máquina leia dados estruturados, mas que escreva em linguagem natural, usando auto-verificações para garantir que permaneça no caminho certo. Esta distinção entre ler e escrever não é apenas um detalhe técnico; é uma regra fundamental para construir sistemas que possam ser confiados em tarefas importantes. Os pesquisadores descobriram que os melhores resultados não vêm de fazer a máquina seguir um modelo perfeito, mas de dar a ela a informação correta e permitir que aplique seu próprio julgamento ao rascunho final.