💬 NLP

Exploring and Testing Skill-Based Behavioral Profile Annotation: Human Operability and LLM Feasibility under Schema-Guided Execution

Este artigo avalia a viabilidade da anotação de perfis comportamentais assistida por LLMs sob uma abordagem orientada por habilidades, demonstrando que, embora a automação seja seletiva e dependa da especificidade da habilidade, os modelos de linguagem exibem um alinhamento significativo com humanos na dificuldade das habilidades, sugerindo que a avaliação deve focar na viabilidade das habilidades individuais em vez da automação global da tarefa.

Autores originais: Yufeng Wu

Publicado 2026-04-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yufeng Wu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma tarefa gigante: analisar milhares de frases em um livro para entender não apenas o significado das palavras, mas também como elas se comportam (sua "personalidade" linguística). Os pesquisadores chamam isso de Análise de Perfil Comportamental.

O problema é que fazer isso manualmente é exaustivo e difícil. Recentemente, surgiram os LLMs (modelos de linguagem como o GPT) que prometem fazer esse trabalho por nós. Mas a pergunta era: eles conseguem fazer tudo?

Este artigo de pesquisa diz: "Não exatamente. E a forma como tentamos automatizar está errada."

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: Tentar fazer tudo de uma vez

Imagine que você é um chef de cozinha tentando preparar um banquete completo (o "perfil comportamental"). O prato exige que você:

Corte os vegetais (gramática).
Tempere o molho (semântica).
Decida se o prato é para um jantar formal ou um churrasco (pragmática).

Se você tentar fazer tudo isso ao mesmo tempo, pode errar no tempero porque está cansado de cortar vegetais. Os pesquisadores descobriram que os modelos de IA (como o GPT) também se confundem quando tentam fazer todas essas "cozinhas" de uma vez.

A grande ideia do artigo é: Não trate a tarefa como um "prato único". Trate-a como um conjunto de habilidades separadas.

2. A Solução: A "Caixa de Ferramentas" de Habilidades

Os autores dividiram a tarefa gigante em 14 habilidades menores (como "identificar o verbo", "verificar o tom", "encontrar rimas"). Eles criaram um sistema onde cada habilidade tem suas próprias regras claras, como um manual de instruções.

Eles testaram isso de duas formas:

Humanos: Duas pessoas anotaram as frases.
IA: O GPT-5.4 e alguns modelos menores tentaram fazer o mesmo.

3. O Que Eles Descobriram (A Analogia da Equipe de Construção)

A. Nem todas as habilidades são iguais

Eles descobriram que as 14 habilidades se dividiram em três grupos:

As Fáceis (Operáveis): São como "apertar um parafuso". Tanto humanos quanto a IA fazem isso perfeitamente na primeira tentativa.
As Recuperáveis: São como "consertar uma parede torta". Na primeira tentativa, a IA e os humanos erram um pouco porque estão cansados ou confusos. Mas, se você pedir para eles focarem apenas nisso (sem as outras tarefas), eles acertam.
As Impossíveis (Estruturalmente Indefinidas): São como "tentar medir o vento com uma régua". Mesmo com regras, a tarefa é tão vaga que nem humanos nem IA conseguem concordar. Essas precisam ser redesenhadas ou abandonadas.

B. A IA não é um "Humano Clone" (O Conceito Chave)

Aqui está a parte mais interessante. O estudo descobriu algo surpreendente:

No nível das habilidades: A IA e os humanos concordam sobre o que é difícil e o que é fácil. Se uma habilidade é chata para humanos, é chata para a IA. (Isso é a "Taxonomia Compartilhada").
No nível dos detalhes: Quando olhamos frase por frase, a IA não comete os mesmos erros que os humanos. Ela erra em lugares diferentes. (Isso é a "Execução Independente").

A Analogia do "Terceiro Olho":
Pense na IA não como um substituto perfeito para um humano, mas como um segundo inspector ou um terceiro membro da equipe.

Se dois humanos discordam sobre uma frase, a IA não é apenas uma cópia de um deles. Ela traz uma opinião diferente, baseada nas mesmas regras, mas com uma lógica própria.
Isso é valioso! Em vez de substituir o humano, a IA atua como um colega de trabalho independente que ajuda a resolver dúvidas, trazendo uma perspectiva fresca que não é nem humana nem robótica no sentido de "erro de cópia".

C. Os Modelos Abertos (Gratuitos)

Os modelos menores e gratuitos (open-source) falharam mais. Mas não foi porque eles são "burros". Foi porque eles não conseguiram seguir as regras estritas do manual (o "esquema"). Foi como tentar usar um carro de corrida em uma estrada de terra: o carro é bom, mas o terreno não estava preparado para ele. Eles erraram na "tradução" das regras para a resposta.

4. A Conclusão Prática: Como usar a IA no futuro?

O artigo sugere um novo jeito de trabalhar, que chamamos de "Fluxo de Trabalho Baseado em Habilidades":

Não tente automatizar tudo de uma vez.
Teste cada habilidade separadamente com humanos primeiro para ver quais são fáceis, quais precisam de foco e quais são impossíveis.
Use a IA apenas nas habilidades que ela domina. Deixe a IA fazer o "apertar de parafusos" e o "conserto de parede" (habilidades recuperáveis).
Mantenha o humano no comando para as partes difíceis e para julgar o trabalho da IA.
Use a IA como um "Terceiro Voz": Quando humanos e IA discordarem, a diferença de opinião ajuda a encontrar a verdade, em vez de apenas tentar substituir o humano.

Resumo em uma frase

A IA não é um substituto mágico que faz todo o trabalho de análise de texto sozinha; ela é uma ferramenta especializada que funciona muito bem em tarefas específicas, desde que saibamos exatamente quais tarefas pedir para ela fazer e como integrar seu trabalho independente ao nosso.

Título: Explorando e Testando a Anotação de Perfis Comportamentais Baseada em Habilidades: Operabilidade Humana e Viabilidade de LLM sob Execução Guiada por Esquema

1. Problema e Motivação

A anotação de Perfis Comportamentais (Behavioral Profile - BP) é uma das formas mais exigentes de análise lexical baseada em corpus. Diferente de tarefas de classificação simples, a anotação BP exige que uma única linha de concordância seja codificada simultaneamente em múltiplas dimensões linguísticas (lexical, sintática, semântica, colocalizacional e pragmática).

O Desafio: A complexidade multidimensional torna a anotação em larga escala custosa, difícil de padronizar e de reproduzir.
A Lacuna na Literatura: Estudos recentes sobre Modelos de Linguagem de Grande Escala (LLMs) tendem a avaliar a automação em nível de tarefa global (ex: "o LLM consegue fazer anotação BP?"). O artigo argumenta que essa abordagem monolítica obscurece a heterogeneidade interna da tarefa. Nem todas as dimensões de um esquema BP são igualmente operáveis ou automatizáveis.
Hipótese Central: A anotação BP deve ser entendida não como uma única tarefa, mas como um conjunto de habilidades de anotação distintas, cada uma com seus próprios requisitos de evidência e regras de decisão.

2. Metodologia

O estudo adota uma abordagem operacional e estruturada, utilizando um pipeline de execução guiado por arquivos de habilidade (skill-file-driven).

Dados e Esquema

Corpus: 3.134 linhas de concordância de 30 derivados metafóricos de termos de cor básicos em chinês (ex: hēichē 'táxi não licenciado', hóngbāo 'envelope vermelho').
Esquema BP: 14 recursos linguísticos (habilidades) cobrindo cinco níveis (lexical, sintático, semântico, colocalizacional e pragmático).
Definição de Habilidade: Cada recurso do esquema é tratado como uma "habilidade" executável, definida externamente por arquivos de esquema (labels, regras de decisão, exemplos) e injetada nos prompts do modelo.

Protocolo de Avaliação

Anotação Humana (Pilotagem): Dois anotadores humanos realizaram duas rodadas de anotação em um subconjunto de validação (300 instâncias) sob condições de "apenas esquema" (sem discussão colaborativa durante a anotação).
- Rodada 1: Mediu a operabilidade inicial sob carga cognitiva.
- Rodada 2: Reanotou apenas as células onde houve discordância na Rodada 1, permitindo distinguir entre dificuldade cognitiva (recuperável) e dificuldade estrutural (não recuperável).
Execução de Modelos:
- Modelo Fronteira: GPT-5.4 (modelo de raciocínio da OpenAI).
- Modelos Open-Source: Qwen2.5-7B, GLM-4-9B e Yi-1.5-9B (implantados localmente).
- Todos os modelos foram executados sob o mesmo pipeline guiado por esquema, sem prompts livres (free-form).

Estrutura de Avaliação

A análise foi realizada em três níveis de granularidade:

Nível de Habilidade: Correlação entre a dificuldade humana e a dificuldade do GPT para cada recurso do esquema.
Nível de Instância: Se as instâncias específicas difíceis para humanos são as mesmas difíceis para o GPT.
Nível de Item Lexical: Se as palavras-alvo difíceis para humanos são as mesmas difíceis para o GPT.

3. Principais Contribuições

Mudança de Paradigma: Propõe a transição da automação de "tarefa" para a viabilidade de habilidade. A automação não é binária (sim/não) para toda a tarefa BP, mas condicional a cada habilidade específica dentro do esquema.
Pipeline Reprodutível: Desenvolveu uma arquitetura de anotação onde as habilidades são definidas externamente em arquivos de esquema, tornando o fluxo de trabalho auditável, reutilizável e independente de engenharia de prompts ad hoc.
Classificação de Operabilidade: Introduz uma taxonomia para classificar habilidades com base na anotação humana:
- Diretamente Operáveis: Confiáveis na primeira tentativa.
- Recuperáveis: Instáveis inicialmente, mas estáveis após reanotação focada (dificuldade cognitiva).
- Estruturalmente Subespecificadas: Instáveis mesmo após reanotação (dificuldade estrutural).
Conceito "Taxonomia Compartilhada, Execução Independente": Demonstra que humanos e LLMs compartilham o mesmo mapa de dificuldade global (quais habilidades são difíceis), mas cometem erros em instâncias diferentes.

4. Resultados Chave

Operabilidade Humana

Das 14 habilidades analisadas:

5 foram diretamente operáveis na Rodada 1.
4 tornaram-se operáveis apenas após reanotação focada (recuperáveis).
5 permaneceram estruturalmente subespecificadas (não automatizáveis sob o esquema atual).
Nota: A distinção entre dificuldade cognitiva e estrutural só foi possível graças ao protocolo de duas rodadas.

Desempenho do GPT-5.4

O GPT-5.4 alcançou desempenho substancial nas habilidades retidas (acurácia = 0,678, $\kappa$ = 0,665, F1 ponderado = 0,695).
No entanto, a viabilidade é seletiva, não global. O modelo falha consistentemente nas habilidades classificadas como estruturalmente subespecificadas.
Correlação de Dificuldade:
- Nível de Habilidade: Correlação forte ( $r = 0,881$ ). Humanos e GPT concordam sobre quais habilidades são difíceis.
- Nível de Instância: Correlação nula ( $r = 0,016$ ).
- Nível Lexical: Correlação negativa/nula ( $r = -0,142$ ).
Interpretação: O GPT não é um substituto direto do humano (que replicaria os mesmos erros), mas sim uma terceira voz de habilidade independente. Ele compartilha a mesma topologia de dificuldade, mas executa de forma independente em detalhes.

Modelos Open-Source

Os modelos locais (7B-9B) falharam de maneira concentrada, não uniforme.
As falhas foram predominantemente problemas de execução de esquema para habilidade (ex: mapeamento incorreto de rótulos, saída fora do esquema JSON), e não necessariamente falta de competência linguística geral.
Sob condições de "apenas esquema" (zero-shot), eles não são confiáveis para implantação direta neste fluxo de trabalho.

5. Significado e Implicações

Reinterpretação do Papel do LLM: O GPT não deve ser visto como um substituto humano que elimina a necessidade de anotação humana, mas como um anotador adicional independente dentro de um fluxo de trabalho filtrado por habilidades. Sua maior contribuição é fornecer evidências não redundantes em habilidades que já são operacionalizáveis.
Metodologia de Anotação: Projetos de anotação de corpus devem começar com uma fase de pilotagem para diagnosticar a operabilidade de cada habilidade do esquema, separando as recuperáveis das estruturalmente instáveis antes de tentar qualquer automação.
Viabilidade Condicional: A automação automática é viável apenas para o subconjunto de habilidades que são operacionalizáveis sob condições de execução guiadas por esquema. Tentar automatizar a tarefa inteira como um bloco único leva a resultados enganosos.
Futuro: Sugere que o foco deve mudar de "o modelo é bom?" para "qual habilidade específica o modelo consegue executar sob quais restrições?".

Em suma, o artigo demonstra que a anotação BP é heterogênea e que a automação eficaz requer uma abordagem baseada em habilidades, onde o LLM atua como uma voz complementar e independente, e não como um substituto monolítico, dentro de um esquema rigorosamente definido.