Resumo Técnico: "Eu não tomei as microdecisões": Medindo, Induzindo e Expondo Contribuições de IA em Nível de Objetivo na Colaboração

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) influenciam cada vez mais a forma como os usuários formam, refinam e expandem seus objetivos, existe uma lacuna crítica na atribuição de contribuições dentro da colaboração humano–IA. Os métodos atuais de atribuição (por exemplo, marcação de texto com marca d'água, análise estilométrica, rastreamento em nível de turno) são orientados para o resultado, focando quase exclusivamente na detecção da participação da IA no artefato final. No entanto, esses métodos falham em capturar o processo pelo qual os próprios objetivos são moldados conjuntamente. Consequentemente, avaliadores, instituições e usuários carecem de fundamentos baseados em evidências para distinguir entre casos em que uma IA meramente executa instruções e casos em que ela propõe direções, refina restrições ou toma decisões concretas de design que os usuários podem não ter considerado. Essa invisibilidade da "iniciativa da IA" impede que os usuários calibrem sua dependência e impede que avaliadores avaliem com precisão o trabalho assistido por IA.

Metodologia: Framework COTRACE

Os autores introduzem o COTRACE, um framework automatizado projetado para medir as contribuições humanas e de IA ao longo do processo de colaboração, deslocando a unidade de análise do artefato final para a estrutura de objetivos em evolução.

Escolhas de Design Principais

1. Decomposição de Objetivos e Requisitos:

   • Objetivos: Definidos como metas explícitas e acionáveis com resultados desejados (por exemplo, "Itinerário de um dia inteiro em Manhattan, Nova York").
   • Requisitos: Os objetivos são decompostos em predicados de sucesso granulares e independentemente verificáveis (critérios no estilo de lista de verificação).
   • Hierarquia: Os objetivos são organizados hierarquicamente em Objetivos Pais (objetivos gerais) e Objetivos Filhos (subtarefas específicas), todos vinculados a requisitos individuais.
   • Ações: Os enunciados do diálogo são decompostos em Ações atômicas (por exemplo, solicitar, restringir, fornecer código), que servem como unidades para iteração de requisitos.

2. Modelagem de Influência Direta e Indireta:

   • Contribuição Direta: Uma ação introduz ou modifica explicitamente um requisito.
   • Influência Indireta: Uma ação fornece contexto que posteriormente motiva um requisito (por exemplo, uma pergunta de esclarecimento, um artefato de rascunho ou um erro exposto). Isso captura formas comuns, mas frequentemente invisíveis, de contribuição da IA, onde a IA "planta uma semente" que o humano desenvolve em um requisito concreto.

Implementação do Pipeline

O COTRACE opera como um pipeline automatizado utilizando LLMs como juízes em quatro estágios:

1. Extração de Resultados e Ações: O diálogo é segmentado; um LLM identifica resultados desejados e decompõe mensagens em ações atômicas, atribuindo papéis: Formulador (propõe objetivos/requisitos), Executor (realiza ações) ou Outro.
2. Extração de Requisitos: Requisitos são extraídos para cada resultado, vinculados à origem e às ações contribuintes, e rastreados por meio de operações CRIAR, REVISAR e EXCLUIR para construir um histórico versionado.
3. Rotulagem de Influência: Pares candidatos de ação–requisito são filtrados por similaridade de embeddings e avaliados por um LLM como juízes como Conexão Direta, Conexão Implícita ou Sem Conexão.
4. Quantificação da Contribuição: Pontuações de influência são agregadas em matrizes de contribuição em nível de falante e em nível de papel, permitindo a quantificação de quem moldou quais objetivos e como.

Estudos Principais e Resultados

1. Medindo a Moldagem Colaborativa de Objetivos no Mundo Real

O framework foi aplicado a 638 registros de colaboração do mundo real do conjunto de dados ShareChat em quatro domínios: Programação Computacional, Análise de Dados, Escrita e Planejamento.

• Direção vs. Especificidade: Os humanos dominam a moldagem geral de objetivos (75–89% da massa de "Formulador"), enquanto os LLMs dominam a execução (96–99% da massa de "Executor"). No entanto, as contribuições dos LLMs para a moldagem de objetivos aumentam à medida que os objetivos se tornam mais específicos. Os modelos raramente moldam resultados pais, mas contribuem significativamente para resultados filhos e requisitos individuais.
• Dependência da Tarefa: Em tarefas técnicas e de fim fechado (Programação, Análise de Dados), os LLMs tornam-se cada vez mais ativos na geração de requisitos, eventualmente superando os usuários em Análise de Dados. Em tarefas de fim aberto (Escrita, Planejamento), a contribuição humana permanece dominante.
• Detalhes de Implementação: Os modelos frequentemente introduzem requisitos de nível inferior e orientados à implementação (por exemplo, restrições técnicas, suposições ambientais) que os usuários raramente especificam.
• Padrões de Influência Indireta: O estudo identificou 11 subtipos recorrentes de interação de influência indireta, agrupados em quatro categorias:
  • Intenção/Preferência Subespecificada: Inferir requisitos concretos a partir de objetivos amplos.
  • Elaboração Disparada por Artefato: Derivar requisitos a partir de artefatos fornecidos ou contexto.
  • Revisão Disparada por Problema: Adicionar requisitos corretivos com base em dificuldades expostas.
  • Direcionamento Interacional: Criar aberturas para novos requisitos por meio de opções ou solicitações.
• Configurações do Sistema: Sistemas baseados em chat mostraram contribuição significativamente maior do usuário na geração de requisitos em comparação com configurações de agente autônomo, sugerindo que os agentes exercem menos iniciativa de moldagem de objetivos, apesar de maior autonomia.

2. Induzindo a Moldagem de Objetivos no Tempo de Inferência

Através de simulações controladas usando o framework CoGym, os autores investigaram se o design de interação poderia controlar o comportamento de moldagem de objetivos do modelo.

• Intervenções de Prompting: Estratégias derivadas de padrões de influência indireta (especificamente Subespecificação e Direcionamento Interacional) aumentaram significativamente a contribuição do assistente na geração de requisitos. Sob subespecificação, a contribuição do assistente aumentou de ~30% para ~70%.
• Design de Interação: Exigir que os agentes comuniquem antes de agir (Chat-CoGym vs. Agentic-CoGym) quase dobrou a moldagem de objetivos pelo modelo (42,9% vs. 24,5% dos requisitos). Esse design força o agente a articular planos em vez de agir silenciosamente.
• Qualidade do Resultado: Embora a moldagem de objetivos aumentada tenha sido induzida com sucesso, ela não melhorou claramente a qualidade geral da saída ou as taxas de satisfação de requisitos. Isso sugere que simplesmente amplificar a iniciativa da IA é insuficiente para melhorar o sucesso da tarefa a jusante sem treinamento de alinhamento melhor.

3. Expondo Dinâmicas em Nível de Objetivo aos Usuários

Um estudo com 10 participantes (5 pares) avaliou o COTRACE-viewer, uma ferramenta interativa que visualiza dinâmicas de contribuição.

• Mudança de Percepção: A exposição à análise em nível de objetivo mudou significativamente as percepções dos participantes. Os participantes avaliaram sua própria contribuição de execução quase 2 pontos mais baixa (em uma escala de 5 pontos) após usar a ferramenta, enquanto avaliaram a contribuição de execução do LLM como mais alta.
• Consciência: 9 dos 10 participantes relataram que a ferramenta os ajudou a notar aspectos da colaboração dos quais não estavam cientes anteriormente, particularmente a "tomada de decisão oculta" da IA e microdecisões tomadas sem entrada explícita.
• Reflexão: A ferramenta levou os usuários a refletir sobre suas práticas de prompting, com alguns notando a necessidade de serem mais específicos em interações futuras.
• Humano vs. IA: A colaboração humano–IA foi encontrada como mais assimétrica (humanos lideram a moldagem, IA apoia a execução) e dependia mais de influência indireta em comparação com a colaboração humano–humano, que foi mais equilibrada e de "vai e volta".

Significância e Alegações

O artigo afirma estabelecer uma fundação para atribuição principista em cenários onde o trabalho assistido por IA é avaliado, creditado ou regulamentado. Sua significância reside em três áreas:

1. Infraestrutura de Avaliação: Fornece um framework de medição que vai além da análise em nível de artefato para rastrear como objetivos e requisitos são co-construídos, abordando as limitações das ferramentas atuais orientadas para o resultado.
2. Alavancas de Design: Demonstra que escolhas de design de interação (por exemplo, forçar comunicação antes da ação) e estratégias de prompting podem amplificar ou suprimir significativamente o comportamento de moldagem de objetivos do modelo, oferecendo alavancas acionáveis para designers de sistemas.
3. Consciência do Usuário: Mostra que expor dinâmicas em nível de objetivo pode corrigir miscalibrações sistemáticas na forma como os usuários percebem suas próprias contribuições e as da IA, promovendo uma colaboração mais intencional.

Os autores concluem que, embora a moldagem de objetivos seja central para a colaboração, aumentar a iniciativa do modelo não melhora automaticamente os resultados finais, destacando a necessidade de intervenções que alinhem melhor o comportamento colaborativo com a qualidade da tarefa. Eles posicionam o COTRACE como uma ferramenta para tornar visíveis as contribuições em nível de objetivo, apoiando assim uma colaboração humano–IA mais transparente, responsável e centrada no humano.